[论文解读] Finding Influential Instances for Distantly Supervised Relation Extraction

Zifeng Wang, Rui Wen+4 more|arXiv (Cornell University)|Sep 17, 2020

Topic Modeling参考文献 6被引用 24

一句话总结

本文提出 REIF，一种模型无关、可解释的远程监督关系抽取方法，利用影响函数识别并子采样高质量训练实例，在不依赖复杂架构的前提下减少噪声。REIF 通过一种快速影响采样算法实现 O(1) 计算复杂度，达到最先进性能，优于注意力机制、强化学习和 GAN 基线方法，同时实现透明且稳定的实例选择。

ABSTRACT

Distant supervision (DS) is a strong way to expand the datasets for enhancing relation extraction (RE) models but often suffers from high label noise. Current works based on attention, reinforcement learning, or GAN are black-box models so they neither provide meaningful interpretation of sample selection in DS nor stability on different domains. On the contrary, this work proposes a novel model-agnostic instance sampling method for DS by influence function (IF), namely REIF. Our method identifies favorable/unfavorable instances in the bag based on IF, then does dynamic instance sampling. We design a fast influence sampling algorithm that reduces the computational complexity from $\mathcal{O}(mn)$ to $\mathcal{O}(1)$, with analyzing its robustness on the selected sampling function. Experiments show that by simply sampling the favorable instances during training, REIF is able to win over a series of baselines that have complicated architectures. We also demonstrate that REIF can support interpretable instance selection.

研究动机与目标

• 为解决远程监督关系抽取（DS-RE）中高标签噪声问题，该问题会损害模型性能。
• 开发一种模型无关、可解释的方法，用于选择有利的训练实例，从而在不依赖复杂架构的前提下减少噪声。
• 为使用影响函数衡量深度学习模型中实例质量提供理论和实证支持。
• 设计一种计算高效的采样策略，在计算开销极低的前提下保持高性能。
• 证明基于影响的采样能提升泛化能力和鲁棒性，尤其在少数类关系上表现更优。

提出的方法

• REIF 使用影响函数（IF）量化每个训练实例对模型损失的影响，为每个实例分配一个质量分数 φ。
• 影响值较低（更负）的实例被视为质量更高，并通过基于 Sigmoid 的概率函数 π 获得更高的采样概率。
• 通过单次梯度计算和线性近似，快速影响采样算法将计算复杂度从 O(mn) 降低至 O(1)。
• 该方法支持动态实例采样（DIS），在训练过程中自适应保留优质实例，从而提升少数类关系的模型鲁棒性。
• 采样函数 π 的设计可减轻因影响估计不准确而引起的方差，尤其是在阈值附近，通过为模糊实例分配相似概率来实现。
• REIF 具备模型无关性，可无缝集成到任何基于深度学习的关系抽取模型（如 PCNN）中，无需架构修改。

实验结果

研究问题

• RQ1 影响函数能否有效用于识别远程监督关系抽取中的高质量训练实例？
• RQ2 基于影响的实例采样是否相比注意力机制、强化学习和 GAN 基线方法能带来更好的模型性能？
• RQ3 所提方法能否在保持跨数据集和领域鲁棒性的前提下，实现 O(1) 复杂度的高效率？
• RQ4 与确定性或事后采样相比，概率采样在稳定性和性能方面表现如何？
• RQ5 基于影响的采样在多大程度上能提升少数类关系和假阴性样本的检测能力？

主要发现

• REIF 显著优于多个强基线方法，包括注意力机制、强化学习和 GAN 方法，在人工评估的前 500 个预测中达到 82.7% 的平均精确率。
• 该方法在采样比例从 5% 到 30% 的范围内均保持稳定性能，表明聚焦于高质量实例已足够实现有效训练。
• 与确定性采样相比，概率 Sigmoid 采样显著提升了鲁棒性，有效降低了因影响估计不准确导致的方差。
• 动态实例采样（DIS）优于事后采样，尤其在少数类关系上表现更优，因其在整个训练过程中保留了更多优质实例。
• 案例研究证实，影响值能定量反映实例质量，负向影响值表明样本为正确且信息丰富的样本。
• 快速影响采样算法实现 O(1) 复杂度，使 REIF 在大规模远程监督数据集上具备可扩展性和实用性。