[论文解读] DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction

Pengda Qin, Weiran Xu+1 more|arXiv (Cornell University)|May 24, 2018

Topic Modeling参考文献 21被引用 24

一句话总结

本文提出 DSGAN，一种生成对抗框架，通过学习句子级别的真正例生成器来过滤远程监督数据中的噪声，用于关系抽取。通过训练生成器生成能欺骗判别器的逼真正样本，DSGAN 识别并重新分配假正例至负样本集，显著提升了在 NYT 数据集上多个最先进架构的下游模型性能。

ABSTRACT

Distant supervision can effectively label data for relation extraction, but suffers from the noise labeling problem. Recent works mainly perform soft bag-level noise reduction strategies to find the relatively better samples in a sentence bag, which is suboptimal compared with making a hard decision of false positive samples in sentence level. In this paper, we introduce an adversarial learning framework, which we named DSGAN, to learn a sentence-level true-positive generator. Inspired by Generative Adversarial Networks, we regard the positive samples generated by the generator as the negative samples to train the discriminator. The optimal generator is obtained until the discrimination ability of the discriminator has the greatest decline. We adopt the generator to filter distant supervision training dataset and redistribute the false positive instances into the negative set, in which way to provide a cleaned dataset for relation classification. The experimental results show that the proposed strategy significantly improves the performance of distant supervision relation extraction comparing to state-of-the-art systems.

研究动机与目标

• 解决远程监督关系抽取中持续存在的标签噪声问题。
• 开发一种优于传统袋级别软注意力方法的句子级别噪声减少策略。
• 创建一种与模型无关、即插即用的数据清洗技术，以提升通用关系抽取性能。
• 实现对假正例的鲁棒、无监督过滤，无需依赖人工标注数据。

提出的方法

• DSGAN 采用生成对抗网络（GAN）框架，其中生成器学习从噪声远程监督数据中生成真正正样本。
• 判别器被训练以区分真实正样本与生成的正样本，其中生成样本被标记为负样本。
• 通过对抗反馈优化生成器，使其更擅长识别真正正例。
• 当判别器分类性能下降至最低点时，即达到最优生成器，表明真正正例与假正例已有效分离。
• 最终生成器用于过滤训练集：其生成的样本被移至负样本集，从而清理下游关系分类的训练数据。
• 该方法作为预处理步骤应用，与任何关系抽取模型兼容。

实验结果

研究问题

• RQ1 对抗学习能否有效应用于关系抽取中的远程监督数据去噪？
• RQ2 句子级别的噪声减少策略是否优于现有袋级别软注意力方法，以更好地处理假正例？
• RQ3 无监督训练的生成器能否学会从噪声数据集中识别真正正例？
• RQ4 DSGAN 在基准数据集上对最先进关系抽取器的性能提升程度如何？

主要发现

• DSGAN 显著提升了所有测试关系抽取器在 NYT 数据集上的 AUC 性能，所有情况的 p 值均小于 0.05。
• 在应用 DSGAN 后，CNN+ONE 模型的 AUC 从 0.177 提升至 0.189，PCNN+ATT 模型从 0.253 提升至 0.264。
• DSGAN 生成的正样本集优于微调生成器和基线集，表明其真正正例识别能力更优。
• 该方法有效处理了所有实体对句子均为假正例的情况——这是先前软注意力方法的局限。
• 性能提升在多个模型上保持一致，证实了该方法的与模型无关性和鲁棒性。