[论文解读] Distant Supervision Relation Extraction with Intra-Bag and Inter-Bag Attentions

Zhi-Xiu Ye, Zhen-Hua Ling|arXiv (Cornell University)|Mar 30, 2019

Topic Modeling参考文献 19被引用 12

一句话总结

该论文提出一种使用双注意力机制（跨袋注意力与袋内注意力）的神经关系抽取模型，以解决远程监督中的噪声问题。通过在袋内计算与关系相关的句子权重，并基于相似性动态加权整个袋组，该模型在NYT数据集上提升了准确性，即使在存在噪声训练数据的情况下，仍能学习到更鲁棒的表示，性能优于当前最先进方法。

ABSTRACT

This paper presents a neural relation extraction method to deal with the noisy training data generated by distant supervision. Previous studies mainly focus on sentence-level de-noising by designing neural networks with intra-bag attentions. In this paper, both intra-bag and inter-bag attentions are considered in order to deal with the noise at sentence-level and bag-level respectively. First, relation-aware bag representations are calculated by weighting sentence embeddings using intra-bag attentions. Here, each possible relation is utilized as the query for attention calculation instead of only using the target relation in conventional methods. Furthermore, the representation of a group of bags in the training set which share the same relation label is calculated by weighting bag representations using a similarity-based inter-bag attention module. Finally, a bag group is utilized as a training sample when building our relation extractor. Experimental results on the New York Times dataset demonstrate the effectiveness of our proposed intra-bag and inter-bag attention modules. Our method also achieves better relation extraction accuracy than state-of-the-art methods on this dataset.

研究动机与目标

• 解决远程监督生成的关系抽取训练数据中的噪声问题。
• 通过在句子级别（袋内）和袋级别（跨袋）建模噪声，提升模型鲁棒性。
• 克服先前方法仅以目标关系作为注意力查询的局限，采用所有可能的关系作为查询。
• 通过建模袋组而非单个袋，缓解‘噪声袋’问题（即袋中所有句子均被错误标注）。
• 在New York Times数据集上，实现比现有最先进模型更高的关系抽取准确率。

提出的方法

• 使用与关系相关的袋内注意力机制，其中每个可能的关系作为查询，计算袋中文本的注意力权重，实现基于与目标关系相关性的动态加权。
• 将袋表示构建为句子嵌入的加权和，为与目标关系更相关的句子分配更高权重。
• 引入跨袋注意力模块，通过相似性评分在共享相同关系标签的多个袋之间计算注意力权重，识别并降低噪声袋的权重。
• 将具有相同关系标签的一组袋视为单一训练样本（袋组），提升泛化能力并增强对袋级噪声的鲁棒性。
• 采用PCNN（路径一致性神经网络）架构，并结合所提出的注意力模块，从句子中提取上下文特征。
• 在联合训练框架中同时利用句子级与袋级注意力，使模型能够学习到对噪声具有鲁棒性的分层表示。

实验结果

研究问题

• RQ1 在袋内注意力中，若使用所有可能的关系作为查询，相比仅使用目标关系，是否能提升袋表示的质量？
• RQ2 将袋组而非单个袋作为训练样本，是否能降低噪声袋对模型性能的影响？
• RQ3 基于相似性的跨袋注意力是否能有效识别并降低训练集中噪声袋的权重？
• RQ4 与最先进模型相比，所提出的双注意力机制在NYT数据集上的关系抽取准确率提升程度如何？
• RQ5 在不同句子数量的袋中，注意力权重如何分布？其分布是否与标签质量相关？

主要发现

• 所提方法在所有测试集（每实体对包含1、2或全部句子）上，均取得了优于先前模型的P@N指标（P@100、P@200、P@300），包括Lin et al. (2016) 和 Liu et al. (2017)。
• ATT_RA模型（与关系相关的袋内注意力）即使在每袋仅有一句话时，也优于ATT_BL（基线模型），证明了在训练阶段使用与关系相关的注意力具有显著优势。
• 跨袋注意力权重在句子较少的袋中较低，支持了此类袋更可能为噪声袋的假设，且模型成功降低了其权重。
• 在案例研究中，跨袋注意力机制显著降低了包含未表达目标关系的句子的噪声袋的权重，证明了其有效的噪声过滤能力。
• PCNN+ATT_RA+BAG_ATT模型在NYT数据集上实现了最先进性能，证实了结合袋内与跨袋注意力机制的有效性。
• 模型在不同测试设置下表现一致，表明其对训练数据构成变化具有鲁棒性。