[论文解读] Distant Supervision for Relation Extraction with Linear Attenuation Simulation and Non-IID Relevance Embedding

Changsen Yuan, Heyan Huang+3 more|arXiv (Cornell University)|Dec 22, 2018

Topic Modeling参考文献 26被引用 6

一句话总结

该论文提出了一种新颖的远程监督关系抽取方法，通过线性衰减模拟来根据词语与实体的距离对其权重进行分配，并采用非独立同分布（non-IID）相关性嵌入来建模包裹内句子之间的依赖关系。该方法通过强调信息量丰富的词语和相关句子，提升了关系抽取的准确性，在基准数据集上的表现优于现有方法。

ABSTRACT

Distant supervision for relation extraction is an efficient method to reduce labor costs and has been widely used to seek novel relational facts in large corpora, which can be identified as a multi-instance multi-label problem. However, existing distant supervision methods suffer from selecting important words in the sentence and extracting valid sentences in the bag. Towards this end, we propose a novel approach to address these problems in this paper. Firstly, we propose a linear attenuation simulation to reflect the importance of words in the sentence with respect to the distances between entities and words. Secondly, we propose a non-independent and identically distributed (non-IID) relevance embedding to capture the relevance of sentences in the bag. Our method can not only capture complex information of words about hidden relations, but also express the mutual information of instances in the bag. Extensive experiments on a benchmark dataset have well-validated the effectiveness of the proposed method.

研究动机与目标

• 解决现有远程监督方法存在的局限性，即假设句子中所有词语的重要性相同，而实际上其相关性会因与实体的距离不同而异。
• 克服多实例学习中句子间独立性的假设，通过建模句子间的相关性来提升性能，而这种相关性在现有方法中常被忽略。
• 通过增强信息量丰富的句子并减少噪声或无关样本的影响，提升关系抽取的性能。
• 通过在深度学习框架中整合距离感知的词语加权与句子级依赖建模，捕捉复杂的隐藏关系。

提出的方法

• 应用线性衰减模拟，根据词语与实体对的距离动态降低其权重，反映‘接近性与相关性正相关’的假设。
• 通过计算句子与最相关句子（即‘最佳’句子）之间的余弦相似度，计算非独立同分布（non-IID）相关性得分，以建模包裹内句子间的依赖关系。
• 将非独立同分布相关性嵌入集成到分段卷积神经网络（PCNN）架构中，联合学习词语级与句子级表示。
• 为与最佳句子相似度更高的句子分配更高的注意力权重，从而增强信息量丰富的样本并抑制噪声样本。
• 采用端到端的多实例多标签学习设置进行模型训练，每个包裹包含多个具有相同实体对的句子。
• 通过建模每个句子与其邻近句子的关系，而非孤立地处理每个句子，从而利用包裹的结构信息，捕捉上下文与关系依赖。

实验结果

研究问题

• RQ1 如何更真实地建模句子中词语的重要性，考虑到词语与实体的距离与其相关性之间的关联？
• RQ2 在远程监督中，建模句子级依赖关系能在多大程度上提升关系抽取的性能？
• RQ3 非独立同分布（non-IID）的句子表示能否有效捕捉包裹中句子间的相互信息，从而提升标签预测性能？
• RQ4 将距离感知的词语加权与句子级相关性建模相结合，是否能显著超越标准远程监督基线方法？

主要发现

• 所提方法在广泛使用的基准数据集上显著提升了关系抽取性能，优于当前最先进方法。
• 线性衰减模拟有效降低了遥远或无关词语的影响，通过根据其与实体的距离分配较低权重。
• 非独立同分布（non-IID）相关性嵌入成功识别并强调了包裹中最信息量丰富的句子，方法是通过测量其与最佳句子的相似度。
• 两种技术的结合使关系分类模型更具鲁棒性与准确性，尤其在处理噪声或长句子时表现更优。
• 模型通过利用句子内与句子间依赖关系，在捕捉隐藏关系方面表现出色。
• 实证结果证实，该方法有效降低了远程监督带来的错误标签影响，尤其在长句或复杂句中效果显著。