[论文解读] A Frustratingly Easy Approach for Entity and Relation Extraction

Zexuan Zhong, Danqi Chen|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 37被引用 35

一句话总结

PURE提出一种简单的流水线式双编码器方法，采用带类型标记的结束标记用于端到端实体与关系抽取，在ACE04、ACE05和SciERC上达到新的state-of-the-art，并且实现高效的推理近似。

ABSTRACT

End-to-end relation extraction aims to identify named entities and extract relations between them. Most recent work models these two subtasks jointly, either by casting them in one structured prediction framework, or performing multi-task learning through shared representations. In this work, we present a simple pipelined approach for entity and relation extraction, and establish the new state-of-the-art on standard benchmarks (ACE04, ACE05 and SciERC), obtaining a 1.7%-2.8% absolute improvement in relation F1 over previous joint models with the same pre-trained encoders. Our approach essentially builds on two independent encoders and merely uses the entity model to construct the input for the relation model. Through a series of careful examinations, we validate the importance of learning distinct contextual representations for entities and relations, fusing entity information early in the relation model, and incorporating global context. Finally, we also present an efficient approximation to our approach which requires only one pass of both entity and relation encoders at inference time, achieving an 8-16$ imes$ speedup with a slight reduction in accuracy.

研究动机与目标

• 重新评估端到端关系抽取，以评估使用分离编码器的管道是否能超越联合模型。
• 证明实体与关系具有不同的上下文表示是有益的。
• 显示将实体信息和类型标记的早期融合可以提升关系理解。
• 提出一种高效的推理近似，以在不大幅降低准确性的情况下加速运行时。

提出的方法

• 拆分为两个独立的编码器：一个用于跨越级预测的实体模型，另一个用于成对跨及关系预测的关系模型。
• 在关系模型中，在主体和对象跨周围插入带类型标记的标记，以创建产生对特定对上下文表示的输入。
• 将实体信息（边界和类型）在关系模型的输入层融合，以提高对关系的判别。
• 可选地在固定窗口内扩展输入以利用更广泛的上下文的跨句上下文。
• 使用标准的交叉熵损失对两个任务进行训练；在训练关系模型时使用真实实体，在推断时使用预测实体。
• 提供一种高效的基于批处理的近似，通过将标记位置绑定到跨起始/结束标记，并限制注意力，重用文本令牌计算，从而在推理时实现对多个跨对输入的批处理。

实验结果

研究问题

• RQ1 在标准基准上，两编码器的流水线设计是否能在端到端关系抽取中优于联合模型？
• RQ2 实体和关系的不同上下文表示以及实体信息的早期融合是否比共享表示带来性能提升？
• RQ3 一种高效的推理近似是否能在显著加速端到端关系抽取的同时保持竞争力的准确性？
• RQ4 跨句上下文对实体识别和关系抽取在该框架中的影响是什么？

主要发现

• 在使用相同预训练编码器时，提出的含分离编码器的PURE管道在ACE04、ACE05和SciERC的关系F1上超越了以往的联合模型。
• 为实体和关系学习不同的上下文表示优于共享表示。
• 在关系模型输入处对实体边界和类型信息进行早期融合显著提升对关系的理解。
• 跨句上下文为实体和关系预测提供额外的收益。
• 批量推理近似在关系F1仅略降的情况下实现8–16倍加速（例如ACE05约1%的下降）。