[论文解读] End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures

Makoto Miwa, Mohit Bansal|arXiv (Cornell University)|Jan 5, 2016

Topic Modeling参考文献 40被引用 197

一句话总结

论文提出一个端到端的神经模型，联合检测实体并使用堆叠的双向序列和树状LSTM网络提取关系，通过实体预训练和计划性抽样来提升性能。

ABSTRACT

We present a novel end-to-end neural model to extract entities and relations between them. Our recurrent neural network based model captures both word sequence and dependency tree substructure information by stacking bidirectional tree-structured LSTM-RNNs on bidirectional sequential LSTM-RNNs. This allows our model to jointly represent both entities and relations with shared parameters in a single model. We further encourage detection of entities during training and use of entity information in relation extraction via entity pretraining and scheduled sampling. Our model improves over the state-of-the-art feature-based model on end-to-end relation extraction, achieving 12.1% and 5.7% relative error reductions in F1-score on ACE2005 and ACE2004, respectively. We also show that our LSTM-RNN based model compares favorably to the state-of-the-art CNN based model (in F1-score) on nominal relation classification (SemEval-2010 Task 8). Finally, we present an extensive ablation analysis of several model components.

研究动机与目标

• 动机：将实体和关系的端到端提取作为一个单一模型，而不是一个管线式流程。
• 探索词序列与依赖树结构的联合表示，以提升关系抽取效果。
• 研究训练改进（实体预训练、计划采样）以稳定端到端学习。
• 在ACE04/ACE05上与最先进的基于特征的模型进行比较，在关系分类任务上与基于CNN的模型/其他神经网络模型比较。

提出的方法

• 用嵌入表示词语，并用双向序列LSTM层处理它们以捕捉线性上下文。
• 在序列层之上堆叠双向树结构LSTM，以编码候选实体对之间的依赖路径信息。
• 通过一个序列标注头（BILOU 方案），使用共享表示来检测实体。
• 对于关系候选，计算一个基于依赖路径的向量（来自 tree-LSTM），并与实体层级和序列特征拼接以分类关系类型。
• 端到端训练，通过时序反向传播，结合计划采样和实体预训练以改善早期训练和实体质量。
• 进行消融实验，以比较不同的树/序列结构和训练组件。

实验结果

研究问题

• RQ1 端到端神经模型是否能比基于特征的系统更准确地联合检测实体和分类关系？
• RQ2 将双向序列信息与双向树结构信息结合是否能提升关系提取？
• RQ3 如实体预训练和计划采样等训练改进是否能显著提升端到端性能？
• RQ4 最短路径依赖表示对关系提取中的神经模型是否有效？
• RQ5 不同的LSTM-RNN结构（序列 vs. 树，短路径 vs. 全树）在端到端关系提取中的表现如何？

主要发现

数据集	模型	实体P	实体R	实体F1	关系P	关系R	关系F1
ACE05	Our Model (SPTree)	0.829	0.839	0.834	0.572	0.540	0.556
ACE05	(baseline/alternative)	0.852	0.769	0.808	0.654	0.398	0.495
ACE04	Our Model (SPTree)	0.808	0.829	0.818	0.487	0.481	0.484
ACE04	(baseline/alternative)	0.835	0.762	0.797	0.608	0.361	0.453

• 在ACE05的端到端关系提取上超越最先进的基于特征的模型（F1相对误差降低12.1%），在ACE04上降低5.7%。
• 在SemEval-2010 Task 8上，该模型对名义关系分类与最先进的CNN-based模型具有竞争力，使用WordNet信息时可能有额外收益。
• 实体预训练和计划采样显著提高端到端性能，表明实体检测的可靠性对关系提取的重要性。
• 使用最短路径（SPTree）结构来表示依赖信息能取得较强的结果，最短路径之外的信息会降低性能；在各类LSTM变体中，SPTree通常与或优于其他方案。
• 在实体检测与关系分类之间共享参数是有益的，尤其是在结合所提出的训练改进时。
• 消融研究表明，序列层仍然是向关系分类器提供实体相关信息所必需的，并且成对特征可以提升关系分类。