[论文解读] Cross-Sentence N-ary Relation Extraction with Graph LSTMs

Nanyun Peng, Hoifung Poon+3 more|arXiv (Cornell University)|Aug 12, 2017

Topic Modeling参考文献 47被引用 134

一句话总结

论文提出一个图LSTM框架来提取跨句子n-元关系，相较基线显示提高的准确性，并在生物医学领域实现远程监督。它还展示与子关系的多任务学习以提升性能。

ABSTRACT

Past work in relation extraction has focused on binary relations in single sentences. Recent NLP inroads in high-value domains have sparked interest in the more general setting of extracting n-ary relations that span multiple sentences. In this paper, we explore a general relation extraction framework based on graph long short-term memory networks (graph LSTMs) that can be easily extended to cross-sentence n-ary relation extraction. The graph formulation provides a unified way of exploring different LSTM approaches and incorporating various intra-sentential and inter-sentential dependencies, such as sequential, syntactic, and discourse relations. A robust contextual representation is learned for the entities, which serves as input to the relation classifier. This simplifies handling of relations with arbitrary arity, and enables multi-task learning with related relations. We evaluate this framework in two important precision medicine settings, demonstrating its effectiveness with both conventional supervised learning and distant supervision. Cross-sentence extraction produced larger knowledge bases. and multi-task learning significantly improved extraction accuracy. A thorough analysis of various LSTM approaches yielded useful insight the impact of linguistic analysis on extraction accuracy.

研究动机与目标

• 激发高价值领域（如生物医学）中的跨句子、n元关系提取。
• 开发一个统一的图LSTM框架，以编码句内和句间的依赖关系。
• 学习供关系分类器使用的实体上下文表示。
• 实现与相关子关系的多任务学习，以提高提取准确性。
• 在有监督与远程监督设置下进行评估，并分析语言学贡献。

提出的方法

• 将文本表示为一个文档图，以捕捉词语邻接、句法和话语关系。
• 使用图LSTM通过前向和后向DAG传递来计算上下文中的词语和实体表示。
• 将实体表示拼接，作为任意阶的关系分类器输入。
• 探索两种参数化：全边类型特定参数和带张量积的边类型嵌入。
• 通过添加共享同一图LSTM表示的相关子关系分类器来应用多任务学习。

实验结果

研究问题

• RQ1 图LSTM是否能通过利用丰富的句内和句间依赖，有效建模跨句子n元关系？
• RQ2 边类型的特定参数或边类型嵌入是否能提升跨句子关系提取？
• RQ3 对子关系的多任务学习是否能提升n元与二元关系的性能？
• RQ4 在生物医学领域中，句法/话语信息对跨句子提取的影响是什么？
• RQ5 在大型生物医学语料库中，跨句子提取在远程监督下的可扩展性如何？

主要发现

• Graph LSTM-FULL 与 Graph LSTM-EMBED 在跨句子三元关系提取中优于基线（基于特征、CNN、BiLSTM）。
• 在跨句子设置中，Graph LSTMs 明显优于 BiLSTMs 与 CNN，p<0.05（McNemar检验）。
• 对子关系的多任务学习在三元和二元关系上均带来显著收益。
• 边类型嵌入的表现与全参数化相当，表明参数高效。
• 自 PubMed Central 的跨句子提取相比单句提取产生更多候选和检测到的相互作用。