[论文解读] Document-level Relation Extraction as Semantic Segmentation

Ningyu Zhang, Xiang Chen+7 more|arXiv (Cornell University)|Jun 7, 2021

Topic Modeling参考文献 38被引用 12

一句话总结

该论文提出DocuNet，首次将文档级关系抽取建模为语义分割任务，通过将实体对视为特征图中的像素，利用基于实体级关系矩阵的U型分割头捕捉全局相互依赖关系，在DocRED、CDR和GDA数据集上取得最先进性能，在CDR上的F1值相比先前方法提升6.9%。

ABSTRACT

Document-level relation extraction aims to extract relations among multiple entity pairs from a document. Previously proposed graph-based or transformer-based models utilize the entities independently, regardless of global information among relational triples. This paper approaches the problem by predicting an entity-level relation matrix to capture local and global information, parallel to the semantic segmentation task in computer vision. Herein, we propose a Document U-shaped Network for document-level relation extraction. Specifically, we leverage an encoder module to capture the context information of entities and a U-shaped segmentation module over the image-style feature map to capture global interdependency among triples. Experimental results show that our approach can obtain state-of-the-art performance on three benchmark datasets DocRED, CDR, and GDA.

研究动机与目标

• 为解决现有模型在捕捉文档级关系抽取中多个关系三元组之间全局相互依赖关系方面的局限性。
• 提升对长距离关系和跨句关系的建模性能，这些关系无法通过句子级模型解决。
• 探索将文档级关系抽取重新表述为语义分割任务的新型方法，类比计算机视觉中的图像分割。
• 设计一种能够同时捕捉局部上下文信息与实体对之间全局关系推理能力的模型。

提出的方法

• 模型使用编码器模块提取文档中每个实体的上下文表示。
• 基于成对实体表示构建类似图像的特征图，将每个实体对视为待分类的'像素'。
• 在该特征图上应用U型分割头以预测关系类型，从而实现对三元组间长程依赖关系的建模。
• U型架构通过跳跃连接保留空间（实体对）分辨率，增强特征学习。
• 引入平衡交叉熵损失以处理现实数据中关系类型分布的长尾问题。
• 采用带类别平衡的交叉熵损失进行端到端训练，以提升罕见关系的检测能力。

实验结果

研究问题

• RQ1 文档级关系抽取能否被有效重构为基于实体对特征图的语义分割任务？
• RQ2 建模关系三元组之间的全局相互依赖关系在多大程度上提升了文档级关系抽取的性能？
• RQ3 U型语义分割架构在多大程度上增强了对长距离和跨句实体对的关系推理能力？
• RQ4 所提出的平衡交叉熵损失在缓解关系分类中的类别不平衡问题方面效果如何？
• RQ5 模型是否具备隐式关系推理能力，其能否通过推断间接关系得到验证？

主要发现

• DocuNet在三个基准数据集（DocRED、CDR和GDA）上均取得最先进性能，在CDR上的F1值相比先前最先进方法ATLOP提升6.9个百分点。
• 消融实验表明，若移除U型分割模块，开发集F1值下降2.18%，证明其在捕捉全局依赖关系中的关键作用。
• 平衡交叉熵损失贡献显著，若移除该损失，F1值下降1.32%，表明其在处理长尾关系分布方面的有效性。
• 基于上下文特征输入的模型比基于相似度的变体高出0.84 F1，证实了上下文表示的优越性。
• 在DocRED上，采用U型分割结构的模型在所有实体数量分组中均优于基线，且随着实体数量增加，性能增益更为显著。
• 案例研究显示，DocuNet能够推断间接关系（例如，通过马里兰州推断出美国是埃德尔斯堡的国家），表明其具备隐式关系推理能力。