[论文解读] Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction

Yan Xiao, Yaochu Jin+2 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling参考文献 42被引用 6

一句话总结

本文提出了一种基于混合注意力机制的Transformer模块模型，用于远距离监督关系抽取（DSRE），以解决自动关系抽取中噪声标签的问题。通过结合多头自注意力机制进行词级别特征提取，以及利用句子级别注意力机制聚合包裹表示，该模型在NYT数据集上的关系分类准确率得到提升，优于当前最先进方法。

ABSTRACT

With an exponential explosive growth of various digital text information, it is challenging to efficiently obtain specific knowledge from massive unstructured text information. As one basic task for natural language processing (NLP), relation extraction aims to extract the semantic relation between entity pairs based on the given text. To avoid manual labeling of datasets, distant supervision relation extraction (DSRE) has been widely used, aiming to utilize knowledge base to automatically annotate datasets. Unfortunately, this method heavily suffers from wrong labelling due to the underlying strong assumptions. To address this issue, we propose a new framework using hybrid attention-based Transformer block with multi-instance learning to perform the DSRE task. More specifically, the Transformer block is firstly used as the sentence encoder to capture syntactic information of sentences, which mainly utilizes multi-head self-attention to extract features from word level. Then, a more concise sentence-level attention mechanism is adopted to constitute the bag representation, aiming to incorporate valid information of each sentence to effectively represent the bag. Experimental results on the public dataset New York Times (NYT) demonstrate that the proposed approach can outperform the state-of-the-art algorithms on the evaluation dataset, which verifies the effectiveness of our model for the DSRE task.

研究动机与目标

• 为解决由于使用知识库进行自动标注时存在错误假设而引发的远距离监督关系抽取（DSRE）中的噪声标签问题。
• 通过新颖的基于Transformer的架构，利用深度上下文表示来提升关系抽取性能。
• 将多实例学习与注意力机制相结合，以更好地表示句子包裹（bags）并增强模型泛化能力。
• 在公开的纽约时报（NYT）数据集上实现最先进性能。

提出的方法

• 使用Transformer模块作为句子编码器，通过词级别的多头自注意力机制捕捉句法和语义特征。
• 应用句子级别的注意力机制，将单个句子表示聚合为紧凑的包裹级表示。
• 采用多实例学习来建模多个句子（包裹）之间的关系，聚焦于最具信息量的实例。
• 在混合注意力机制中结合词级别注意力与句子级别注意力，以增强特征学习和对噪声的鲁棒性。
• 在NYT数据集上使用交叉熵损失函数进行端到端训练，以实现关系分类。
• 利用预训练的上下文嵌入（由Transformer架构隐含支持）以提升表示质量。

实验结果

研究问题

• RQ1 结合词级别和句子级别注意力的混合注意力机制是否能提升远距离监督下的关系抽取性能？
• RQ2 所提出的基于Transformer的模型在NYT数据集上与现有最先进模型相比表现如何？
• RQ3 将多实例学习与注意力机制结合，能在多大程度上减轻DSRE中噪声标签的影响？
• RQ4 使用更结构化的注意力机制是否能提升对多样化关系类型的泛化能力？

主要发现

• 所提出的模型在纽约时报（NYT）数据集上的表现优于现有最先进方法。
• 混合注意力机制有效捕捉了局部句法特征与全局包裹级语义，从而提升了关系分类性能。
• 将多实例学习与句子级别注意力机制结合，降低了训练数据中噪声实例的影响。
• 模型通过在预测时聚焦于每个包裹中最相关句子，表现出对标签噪声的鲁棒性。