[论文解读] Analyzing the Use of Influence Functions for Instance-Specific Data Filtering in Neural Machine Translation

Tsz Kin Lam, Eva Hasler+1 more|arXiv (Cornell University)|Oct 24, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文研究了神经机器翻译（NMT）中实例特定数据过滤的影响函数（IF），提出了两种对比性扩展方法以提升原始IF的检索性能。结果表明，IF能够识别出超出正则表达式范围的错误训练样本，但自动化仍具挑战性，原因在于对网络组件敏感且缺乏稳健的阈值设定策略。

ABSTRACT

Customer feedback can be an important signal for improving commercial machine translation systems. One solution for fixing specific translation errors is to remove the related erroneous training instances followed by re-training of the machine translation system, which we refer to as instance-specific data filtering. Influence functions (IF) have been shown to be effective in finding such relevant training examples for classification tasks such as image classification, toxic speech detection and entailment task. Given a probing instance, IF find influential training examples by measuring the similarity of the probing instance with a set of training examples in gradient space. In this work, we examine the use of influence functions for Neural Machine Translation (NMT). We propose two effective extensions to a state of the art influence function and demonstrate on the sub-problem of copied training examples that IF can be applied more generally than handcrafted regular expressions.

研究动机与目标

• 探索使用影响函数（IF）在神经机器翻译（NMT）中实现实例特定数据过滤的可行性，目标是通过移除有问题的训练样本实现错误修正。
• 通过提出改进方法，解决原始IF在NMT中的局限性，以提升检索性能。
• 评估IF是否能在识别具有相似错误的训练样本方面超越基于规则的过滤方法（如正则表达式），即使词汇形式不同。
• 研究IF-based过滤自动化的实际挑战，特别是阈值选择和梯度组件敏感性问题。

提出的方法

• 本研究采用TracIn方法，一种计算高效的影响力函数变体，通过模型检查点间的梯度点积近似影响力，而非计算Hessian矩阵的逆。
• 影响力计算为C个检查点上梯度相似性的平均值：$\mathcal{I}_{\text{TracIn}}(z,z') = \frac{1}{C}\sum_{i=1}^{C} \nabla_\theta L(z')^T \nabla_\theta L(z)$。
• 提出两种对比方法：GradDiff（梯度差异）和GradHYP（带假设的梯度相似性），均应用于源嵌入等特定网络组件及完整模型参数。
• 构建具有可控翻译错误的合成训练样本，以模拟真实客户报告的错误，从而实现对IF性能的受控评估。
• 对每个探测样本的影响力分数进行排序，并通过连续影响力值差异的聚类来评估阈值设定策略。

实验结果

研究问题

• RQ1 影响函数能否有效检索出导致NMT中特定翻译错误的训练实例？
• RQ2 网络组件的选择（如源嵌入与完整模型）如何影响NMT中影响函数的性能？
• RQ3 对比性影响函数变体是否能在NMT中提升检索性能，优于原始IF？
• RQ4 是否可行通过影响函数实现过滤的自动化，还是阈值选择与组件选择对错误模式过于敏感？

主要发现

• 原始影响函数在NMT中检索性能表现较差，特别是在使用完整模型梯度时，表明标准IF在此任务中不足。
• 影响力（梯度相似性）对所选网络组件高度敏感，其中源嵌入产生的影响力分数比完整模型梯度更稳定且更具意义。
• 所提出的对比性影响函数方法——GradDiff与GradHYP——在所有测试的梯度组件和参数共享设置下，均显著提升了检索性能。
• 即使词汇形式不同，具有复制源句的训练样本也表现出相似的梯度，表明IF能够检测出正则表达式无法捕捉的错误模式。
• IF-based过滤的自动化仍具挑战性，因为影响力值在前几个最高分实例后急剧下降，导致自动阈值选择困难。
• 影响力分数的“肘部”出现在前50个实例内，表明仅有少量训练样本具有高度影响力，但可靠识别该点具有非平凡性。