[论文解读] Entity, Relation, and Event Extraction with Contextualized Span Representations

David Wadden, Ulme Wennberg+2 more|arXiv (Cornell University)|Sep 8, 2019

Topic Modeling被引用 14

一句话总结

该论文提出 DyGIE++，一种统一的多任务框架，通过上下文化的跨度表征实现端到端的实体、关系和事件抽取。通过结合 BERT 的上下文嵌入与动态跨度图传播（尤其是通过共指链接），该方法在四个多样化数据集上实现了最先进性能，有效建模局部和长距离跨句依赖，错误率最高降低 27.9%。

ABSTRACT

We examine the capabilities of a unified, multi-task framework for three information extraction tasks: named entity recognition, relation extraction, and event extraction. Our framework (called DyGIE++) accomplishes all tasks by enumerating, refining, and scoring text spans designed to capture local (within-sentence) and global (cross-sentence) context. Our framework achieves state-of-the-art results across all tasks, on four datasets from a variety of domains. We perform experiments comparing different techniques to construct span representations. Contextualized embeddings like BERT perform well at capturing relationships among entities in the same or adjacent sentences, while dynamic span graph updates model long-range cross-sentence relationships. For instance, propagating span representations via predicted coreference links can enable the model to disambiguate challenging entity mentions. Our code is publicly available at https://github.com/dwadden/dygiepp and can be easily adapted for new tasks or datasets.

研究动机与目标

• 开发一种统一的多任务框架，联合执行命名实体识别、关系抽取和事件抽取。
• 通过跨度表征整合局部（句内）和全局（跨句）上下文，提升信息抽取性能。
• 探究上下文化嵌入（如 BERT）与跨度图上的动态消息传递如何提升多样化信息抽取任务的性能。
• 评估领域内预训练（如 SciBERT）对科学文献等专业领域性能的影响。
• 分析共指传播在纠正实体类型误分类和提升泛化能力方面的作用。

提出的方法

• 采用滑动窗口方法将多句输入送入 BERT，实现标记表征的多句上下文化。
• 枚举文档中所有可能的跨度（最大长度受限），作为候选实体、关系和事件触发词。
• 通过拼接 BERT 编码的标记表征与学习得到的跨度宽度嵌入，构建跨度表征。
• 在跨度图上应用动态图传播，其中边表示预测的关系（如共指、句法或任务特定链接），迭代更新跨度表征。
• 采用三种图传播变体：基于共指的（CorefProp）、基于句法的（SyntacticProp）和基于关系的（RelProp），并使用注意力机制加权邻居贡献。
• 为实体分类、关系分类、事件触发词检测和论元角色标注分别使用独立的评分头，所有模块端到端联合训练。

实验结果

研究问题

• RQ1 统一框架能否通过共享的跨度表征联合优化命名实体识别、关系抽取和事件抽取？
• RQ2 上下文化嵌入（如 BERT）在捕捉与信息抽取任务相关的跨句依赖方面有多有效？
• RQ3 在长距离或复杂依赖场景下，跨度图上的动态消息传递相较于仅使用 BERT 能在多大程度上提升性能？
• RQ4 领域内预训练（如 SciBERT）对科学文献等专业领域性能有何影响？
• RQ5 共指传播在纠正误分类的实体提及方面发挥何种作用，其如何影响跨度表征的优化？

主要发现

• DyGIE++ 在四个多样化数据集上，所有三项任务——命名实体识别、关系抽取和事件抽取——均达到最先进性能，相对错误率降低范围为 0.2% 至 27.9%。
• 基于 BERT 的上下文化显著提升性能，通过多句滑动窗口扩展了有效上下文窗口，尤其在跨句依赖建模中表现突出。
• 通过共指链接的图传播（CorefProp）使模型能够纠正过于具体的实体预测（如从 'Method' 修正为 'Other Scientific Term'），通过跨句传播先行提及的信息。
• 在 68% 的纠正案例中，最具影响力的共指更新源自另一句子中的命名实体，证明了跨句信息流动的有效性。
• BERT 与 LSTM 层结合图传播仅需 1500 万参数，即实现强大性能，相比完整 BERT 微调更具内存效率，且对超参数调优不敏感。
• 使用 SciBERT 进行领域内预训练在科学数据集上带来显著性能提升（如 SciERC 上 F1 提升 +2.2，GENIA 上 F1 提升 +1.1），证实领域自适应预训练的价值。