[论文解读] Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation Extraction

Benfeng Xu, Quan Wang+3 more|arXiv (Cornell University)|Feb 20, 2021

Topic Modeling参考文献 30被引用 9

一句话总结

该论文提出SSAN，一种结构化自注意力网络，通过将结构偏差整合到自注意力机制中，建模Transformer编码器内及跨文档的实体提及依赖关系（如指代消解和共现关系）。通过联合优化上下文与结构推理，SSAN在三个文档级关系抽取数据集上达到最先进性能，显著优于先前方法，得益于自适应注意力正则化。

ABSTRACT

Entities, as the essential elements in relation extraction tasks, exhibit certain structure. In this work, we formulate such structure as distinctive dependencies between mention pairs. We then propose SSAN, which incorporates these structural dependencies within the standard self-attention mechanism and throughout the overall encoding stage. Specifically, we design two alternative transformation modules inside each self-attention building block to produce attentive biases so as to adaptively regularize its attention flow. Our experiments demonstrate the usefulness of the proposed entity structure and the effectiveness of SSAN. It significantly outperforms competitive baselines, achieving new state-of-the-art results on three popular document-level relation extraction datasets. We further provide ablation and visualization to show how the entity structure guides the model for better relation extraction. Our code is publicly available.

研究动机与目标

• 将多样化的提及依赖关系（如指代消解、共现关系以及间接链接）统一形式化为文档级关系抽取的框架。
• 通过直接将结构推理整合到注意力机制中，解决现有方法将实体结构视为事后特征或使用孤立图网络的局限性。
• 通过在整个编码过程中实现上下文与结构推理的同步与交互，提升关系抽取性能。
• 开发一种可泛化的通用方法，适用于任何基于Transformer的模型，以引入超越指代消解的结构先验知识。

提出的方法

• 将实体结构形式化为一组提及依赖关系，包括指代消解、共现关系以及通过共享引用产生的间接链接。
• 在每个自注意力模块中设计两个变换模块，基于结构先验生成注意力正则化偏差。
• 将结构引导直接集成到自注意力机制中，使上下文与结构推理在所有层中实现同步与交互。
• 在标准Transformer编码器中应用结构化自注意力机制，用SSAN模块替代标准多头注意力机制。
• 利用生成的上下文表示进行文档级关系分类，采用端到端方式在关系抽取数据集上进行训练。
• 通过注入结构偏差而不改变网络架构，将该方法适配至多种预训练模型。

实验结果

研究问题

• RQ1 如何在文档级关系抽取中系统性地将超越简单指代消解的实体提及依赖关系形式化为结构先验？
• RQ2 能否在自注意力机制内部而非作为后处理特征或独立图网络，有效建模结构依赖关系？
• RQ3 与孤立或后期融合方法相比，将结构推理贯穿整个编码过程是否能显著提升关系抽取性能？
• RQ4 所提出的SSAN模型在多样化的文档级关系抽取基准上相比现有方法的性能提升程度如何？

主要发现

• SSAN在三个文档级关系抽取数据集（DocRED、CDR和GDA）上达到新的最先进结果，相较于竞争性基线展现出一致且显著的性能提升。
• 该模型显著优于将指代消解作为额外特征或应用图神经网络优化的方法，证明了端到端结构集成的优势。
• 消融实验表明，引入结构依赖关系可提升性能，尤其在通过共享引用建模间接链接时增益最为显著。
• 可视化结果表明，SSAN的注意力更聚焦于相关提及及结构路径（如指代链），表明实体结构提供了有效引导。
• 该方法在不同领域间具有良好的泛化能力，在通用领域（DocRED）和生物医学领域（CDR、GDA）数据集上均表现强劲。
• 所提出的结构偏差模块有效正则化了注意力流，生成了更具连贯性与上下文感知能力的表示。