[论文解读] InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction

Zhendong Chu, Haiyun Jiang+2 more|arXiv (Cornell University)|Dec 17, 2020

Topic Modeling参考文献 31被引用 4

一句话总结

本文提出 InSRL，一种端到端的多视角学习框架，通过融合远程监督句子、实体描述和多粒度实体类型进行关系抽取。通过联合学习单视角与完整空间表征，并结合内部与跨视角注意力机制，InSRL 在 NYT 基准上实现了最先进性能，F1 指标相比基线提升 4.6%。

ABSTRACT

Distant supervision makes it possible to automatically label bags of sentences for relation extraction by leveraging knowledge bases, but suffers from the sparse and noisy bag issues. Additional information sources are urgently needed to supplement the training data and overcome these issues. In this paper, we introduce two widely-existing sources in knowledge bases, namely entity descriptions, and multi-grained entity types to enrich the distantly supervised data. We see information sources as multiple views and fusing them to construct an intact space with sufficient information. An end-to-end multi-view learning framework is proposed for relation extraction via Intact Space Representation Learning (InSRL), and the representations of single views are jointly learned simultaneously. Moreover, inner-view and cross-view attention mechanisms are used to highlight important information on different levels on an entity-pair basis. The experimental results on a popular benchmark dataset demonstrate the necessity of additional information sources and the effectiveness of our framework. We will release the implementation of our model and dataset with multiple information sources after the anonymized review phase.

研究动机与目标

• 通过引入额外信息源，解决远程监督关系抽取中的稀疏性和噪声袋问题。
• 克服传统多实例学习的局限性，后者假设每个袋中至少包含一个正样本句子，而这一条件在真实数据集中常被违反。
• 开发一种统一的端到端框架，联合学习来自多个视角的表征，且无需满足视角充分性条件。
• 证明整合实体描述和多粒度类型作为互补信号在关系分类中的有效性。

提出的方法

• 引入三种信息源作为视角：远程监督句子（v₁）、实体描述（v₂）和多粒度实体类型（v₃），每种均视为独立视角。
• 提出端到端框架 InSRL，联合学习单视角表征与完整空间表征，避免标准完整空间学习中的两阶段训练。
• 采用视角内注意力机制，突出每个视角内的关系相关特征，提升各视角的表征质量。
• 应用跨视角注意力机制，在完整空间表征学习过程中动态加权各视角的重要性，突出如实体描述等信息丰富的视角。
• 对加权后的视角嵌入求和结果进行非线性变换（tanh），生成最终的完整空间表征用于分类。
• 使用单一损失函数端到端训练整个模型，实现所有组件（包括注意力权重和表征层）的联合优化。

实验结果

研究问题

• RQ1 实体描述和多粒度实体类型能否作为有效互补信号，提升远程监督设置下的关系抽取性能？
• RQ2 一种融合多源信息的端到端多视角学习框架，是否优于仅使用句子级监督的传统多实例学习方法？
• RQ3 视角内与跨视角注意力机制在跨视角与视角内突出相关信息方面的有效性如何？
• RQ4 与简单平均或加权平均相比，完整空间表征学习在关系分类中是否更具优势？
• RQ5 当各视角本身稀疏或含噪声时（这在真实远程监督场景中很常见），所提框架是否仍具鲁棒性？

主要发现

• InSRL 在 NYT 基准上取得 0.465 ± 0.013 的 F1 分数，相比最佳基线（MV-ATT）提升 4.6%，相比仅使用句子的单视角监督提升 12.8%。
• 引入实体描述（v₂）和多粒度类型（v₃）显著提升性能，其中仅 v₂ 即可达到 0.314 的 F1，高于 v₃ 的 0.288，表明描述蕴含更丰富的语义信息。
• 移除视角内注意力机制（InSRL w/o RAT）导致 F1 下降 0.028，证明其在捕捉各视角内关系感知特征方面的重要性。
• 移除跨视角注意力（InSRL-AVG）使 F1 下降 0.015，表明动态加权视角优于均匀平均，能提升表征质量。
• MV-AVG 和 MV-ATT 基线（分别采用简单平均和关系注意力但无完整空间学习）性能均弱于 InSRL，证明完整空间学习框架的有效性。
• 消融实验确认三个视角均有显著贡献，仅当所有信息源通过所提端到端 InSRL 框架融合时，才能达到最佳性能。