[论文解读] Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling

Wenxuan Zhou, Kevin Huang+2 more|arXiv (Cornell University)|Oct 21, 2020

Topic Modeling被引用 17

一句话总结

该论文提出ATLOP，一种新颖的文档级关系抽取模型，通过自适应阈值和局部上下文聚合，解决多实体与多标签挑战。通过学习实体特定的阈值并利用预训练注意力头聚焦于相关上下文，ATLOP在DocRED基准上取得63.4的F1分数，超越先前最先进模型。

ABSTRACT

Document-level relation extraction (RE) poses new challenges compared to its sentence-level counterpart. One document commonly contains multiple entity pairs, and one entity pair occurs multiple times in the document associated with multiple possible relations. In this paper, we propose two novel techniques, adaptive thresholding and localized context pooling, to solve the multi-label and multi-entity problems. The adaptive thresholding replaces the global threshold for multi-label classification in the prior work with a learnable entities-dependent threshold. The localized context pooling directly transfers attention from pre-trained language models to locate relevant context that is useful to decide the relation. We experiment on three document-level RE benchmark datasets: DocRED, a recently released large-scale RE dataset, and two datasets CDRand GDA in the biomedical domain. Our ATLOP (Adaptive Thresholding and Localized cOntext Pooling) model achieves an F1 score of 63.4, and also significantly outperforms existing models on both CDR and GDA.

研究动机与目标

• 为解决文档级关系抽取中的多实体与多标签挑战，即多个实体对及每对之间的多个关系使分类复杂化。
• 通过学习实例特定的阈值，消除多标签分类中的启发式阈值调优，实现更好的泛化能力。
• 通过聚焦于每个实体对相关的上下文，增强实体表示，减少无关文档内容带来的噪声。
• 在不依赖显式图结构的前提下提升文档级RE性能，直接利用预训练语言模型的注意力机制。
• 在包括DocRED、CDR和GDA在内的基准数据集上实现最先进结果，涵盖生物医学领域。

提出的方法

• 自适应阈值用每个实体对的可学习阈值类别替代全局阈值，通过基于排名的损失函数进行训练，使正样本logits高于阈值、负样本logits低于阈值。
• 局部上下文聚合将预训练语言模型的注意力头迁移至识别特定实体对相关上下文，通过双实体注意力权重相乘实现。
• 该方法动态聚焦于对两个实体均具信息量的标记，如示例中的“born”和“died”，从而提升关系预测准确率。
• 通过上下文感知注意力对实体嵌入进行优化，避免对所有实体对使用固定全局表示。
• 将这些组件整合进统一框架，联合优化关系分类与阈值自适应。
• 该方法避免构建文档图结构，转而依赖注意力迁移与可学习阈值来建模长距离依赖与多关系事实。

实验结果

研究问题

• RQ1 与固定全局阈值相比，可学习的、基于实体对的阈值是否能提升文档级关系抽取中的多标签分类性能？
• RQ2 源自预训练模型注意力的局部上下文聚合是否能有效识别每个实体对的相关上下文，并减少无关文档内容带来的噪声？
• RQ3 结合自适应阈值与局部上下文聚合是否能在文档级关系抽取基准上带来显著性能提升？
• RQ4 是否可能在不显式建模文档图结构的前提下实现最先进结果，而仅依赖注意力迁移与端到端学习？
• RQ5 该模型在多样化文档级RE数据集上的表现如何，包括通用领域（DocRED）与生物医学领域（CDR、GDA）基准？

主要发现

• ATLOP在DocRED基准上取得63.4的F1分数，创下新的最先进性能记录。
• 该模型在CDR与GDA生物医学数据集上显著优于现有方法，展现出跨领域的强大泛化能力。
• 自适应阈值消除了手动调优阈值的需求，通过学习实例特定阈值提升了预测可靠性。
• 局部上下文聚合成功识别出实体对（John Stanistreet, Bendigo）的相关上下文标记，如“born”和“died”，如注意力可视化所示。
• 消融实验确认，自适应阈值与局部上下文聚合均对模型性能有显著贡献。
• 该模型在不依赖文档图结构的情况下实现最先进结果，表明来自预训练模型的注意力迁移足以实现有效的长距离依赖建模。