[论文解读] Denoising Distant Supervision for Relation Extraction via Instance-Level Adversarial Training

Xu Han, Zhiyuan Liu+1 more|arXiv (Cornell University)|May 28, 2018

Topic Modeling参考文献 23被引用 17

一句话总结

本文提出了一种实例级别的对抗性训练方法，用于在神经网络关系抽取中去噪远程监督数据，其中判别器用于区分置信实例与非置信实例，采样器则对抗性地选择最具迷惑性的实例以提升去噪效果。该方法在NYT数据集上取得了最先进性能，尤其在低资源实体对上显著优于现有去噪基线方法。

ABSTRACT

Existing neural relation extraction (NRE) models rely on distant supervision and suffer from wrong labeling problems. In this paper, we propose a novel adversarial training mechanism over instances for relation extraction to alleviate the noise issue. As compared with previous denoising methods, our proposed method can better discriminate those informative instances from noisy ones. Our method is also efficient and flexible to be applied to various NRE architectures. As shown in the experiments on a large-scale benchmark dataset in relation extraction, our denoising method can effectively filter out noisy instances and achieve significant improvements as compared with the state-of-the-art models.

研究动机与目标

• 为解决关系抽取中远程监督因知识图谱与文本自动对齐而产生的噪声标签问题。
• 在现有粗粒度软加权方法之外，实现对信息性句子与噪声句子的实例级别区分，提升噪声检测的粒度。
• 开发一种在实体对训练样本极少时仍具有效性的去噪方法，以应对长尾关系抽取中的常见挑战。
• 构建一种灵活、高效且与模型架构无关的框架，可无缝集成到多种神经关系抽取模型中。

提出的方法

• 将训练数据划分为置信集（正样本）与非置信集（负样本），利用置信集训练一个判别器以分类实例。
• 训练一个采样器模块，从非置信集中选择最具迷惑性的实例，以对抗性方式挑战判别器。
• 判别器与采样器通过对抗方式联合训练，采样器旨在误导判别器，而判别器则不断提升识别真实正样本的能力。
• 在训练过程中，将非置信集中最具信息量且最置信的实例动态转移至置信集，以丰富训练数据。
• 对抗过程逐步过滤掉噪声实例，因其无法同时降低两个模块的损失，从而提升模型鲁棒性。
• 该框架兼容多种神经网络架构（如PCNN），且无需修改模型结构即可应用。

实验结果

研究问题

• RQ1 实例级别的对抗性训练是否能在远程监督关系抽取中，超越软注意力或池化方法，进一步提升噪声检测能力？
• RQ2 当实体对仅有1至2个训练句子时，所提方法在过滤噪声实例方面的有效性如何？
• RQ3 对抗性训练机制是否能提升在监督不足的长尾关系上的性能表现？
• RQ4 该方法是否可灵活应用于不同神经关系抽取架构，而无需进行架构修改？

主要发现

• 所提方法在NYT基准上显著优于最先进模型（包括PCNN+ATT及其变体），在全量数据设置下达到82.8%的F1值。
• 在仅含1至2个句子的实体对上，该方法持续且显著优于ATT及其基线方法，展现出在低资源场景下的强鲁棒性。
• 案例研究显示，采样器能有效识别信息性实例与噪声实例，例如在“Location Contains”关系中正确选择正样本并剔除无关样本。
• 随着训练数据的增长，该方法保持优异性能，表明其具备强大的噪声鲁棒性与可扩展性。
• 将非置信实例动态重新分类为置信集，显著提升了模型学习效率，是该方法有效性的关键贡献之一。