[论文解读] Self-Attention Enhanced Selective Gate with Entity-Aware Embedding for Distantly Supervised Relation Extraction

Yang Li, Guodong Long+5 more|arXiv (Cornell University)|Nov 27, 2019

Topic Modeling参考文献 26被引用 7

一句话总结

本文提出了一种新颖的轻量级神经框架——选择性门控机制（SeG），用于远程监督关系抽取，通过增强实体感知的词嵌入并结合分段卷积神经网络（PCNN）与自注意力机制，捕捉长距离依赖关系。通过用配备池化功能的门控机制替代选择性注意力机制，SeG在NYT数据集上实现了最先进性能，尤其在仅含一个句子的样本袋中表现优异，而此前的方法因注意力模块训练不佳而表现失败。

ABSTRACT

Distantly supervised relation extraction intrinsically suffers from noisy labels due to the strong assumption of distant supervision. Most prior works adopt a selective attention mechanism over sentences in a bag to denoise from wrongly labeled data, which however could be incompetent when there is only one sentence in a bag. In this paper, we propose a brand-new light-weight neural framework to address the distantly supervised relation extraction problem and alleviate the defects in previous selective attention framework. Specifically, in the proposed framework, 1) we use an entity-aware word embedding method to integrate both relative position information and head/tail entity embeddings, aiming to highlight the essence of entities for this task; 2) we develop a self-attention mechanism to capture the rich contextual dependencies as a complement for local dependencies captured by piecewise CNN; and 3) instead of using selective attention, we design a pooling-equipped gate, which is based on rich contextual representations, as an aggregator to generate bag-level representation for final relation classification. Compared to selective attention, one major advantage of the proposed gating mechanism is that, it performs stably and promisingly even if only one sentence appears in a bag and thus keeps the consistency across all training examples. The experiments on NYT dataset demonstrate that our approach achieves a new state-of-the-art performance in terms of both AUC and top-n precision metrics.

研究动机与目标

• 为解决远程监督关系抽取中标签噪声的问题，特别是当样本袋仅包含一个句子时的挑战。
• 克服在单句样本袋中选择性注意力机制的不稳定性，该问题导致模型训练困难与性能下降。
• 通过整合编码相对位置与实体身份信息的实体感知词嵌入，提升表征学习能力。
• 通过将分段卷积神经网络与并行自注意力机制结合，增强上下文建模能力，实现更丰富的依赖关系捕捉。
• 设计一种鲁棒且稳定的聚合机制——SeG门控机制，确保在所有训练样本（包括单句样本袋）中均表现可靠。

提出的方法

• 提出一种实体感知词嵌入方法，动态将头实体与尾实体表征及相对位置信息整合到每个词嵌入中。
• 引入一种轻量级自注意力机制，与分段卷积神经网络并行应用，以捕捉长距离上下文依赖关系，补充局部卷积特征。
• 设计一种配备池化功能的选择性门控机制，将句子级表征聚合为样本袋级表征，替代先前方法中基于注意力的聚合方式。
• 利用门控机制在样本袋中仅含一个句子时仍能生成稳定样本袋级表征，确保所有训练实例中性能一致。
• 采用多实例学习框架，其中每个样本袋包含具有相同实体对的句子，样本袋标签由知识图谱推导得出。
• 在门控模块输入前，对自注意力与PCNN模块的输出进行最大池化操作，实现鲁棒的特征聚合。

实验结果

研究问题

• RQ1 基于门控的聚合机制是否能在远程监督关系抽取中超越选择性注意力，特别是在单句样本袋中？
• RQ2 通过编码实体特异性和位置信息，实体感知嵌入在多大程度上提升了关系抽取性能？
• RQ3 当与分段卷积神经网络结合时，自注意力机制在多大程度上增强了上下文表征能力？
• RQ4 所提出的SeG框架是否能在单句样本袋中保持高性能，而此前选择性注意力因单句注意力不稳定而失效？
• RQ5 各组件（实体感知嵌入、自注意力、门控机制）对整体模型性能的贡献分别是什么？

主要发现

• SeG框架在NYT数据集上实现了新的最先进性能，在AUC与Top-n精确率指标上均优于先前方法。
• 仅在单句样本袋上，SeG相比PCNN+ATT提升了0.13的AUC，表明其在最常见且最具挑战性的情形下具备更强鲁棒性。
• 消融实验表明，若移除自注意力或实体感知嵌入组件，性能显著下降，验证了其关键作用。
• 案例研究显示，自注意力增强的门控机制对正确分类至关重要，尤其在模糊或复杂语境中。
• 堆叠式PCNN与自注意力结构（SeG w/ Stack）的性能低于并行配置，表明并行集成更有效。
• 错误分析显示，误分类多发生在与地点相关的关系上，原因在于缺乏背景知识，提示未来可整合外部知识库以提升性能。