[論文レビュー] Analyzing the Use of Influence Functions for Instance-Specific Data Filtering in Neural Machine Translation

Tsz Kin Lam, Eva Hasler+1 more|arXiv (Cornell University)|Oct 24, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿は、ニューラル機械翻訳（NMT）におけるインスタンス固有のデータフィルタリングのための影響関数（IF）を調査し、アンサンブルIFの性能を向上させる2つの対照的拡張を提案する。IFが正規表現を超えて誤った学習例を同定できることを示しているが、ネットワーク部品への感受性と頑健なしきい値戦略の欠如により、自動化は依然として困難である。

ABSTRACT

Customer feedback can be an important signal for improving commercial machine translation systems. One solution for fixing specific translation errors is to remove the related erroneous training instances followed by re-training of the machine translation system, which we refer to as instance-specific data filtering. Influence functions (IF) have been shown to be effective in finding such relevant training examples for classification tasks such as image classification, toxic speech detection and entailment task. Given a probing instance, IF find influential training examples by measuring the similarity of the probing instance with a set of training examples in gradient space. In this work, we examine the use of influence functions for Neural Machine Translation (NMT). We propose two effective extensions to a state of the art influence function and demonstrate on the sub-problem of copied training examples that IF can be applied more generally than handcrafted regular expressions.

研究の動機と目的

• 影響関数（IF）を用いたNMTにおけるインスタンス固有のデータフィルタリングの可能性を検討し、問題のある学習例の削除による誤り訂正を目的とする。
• NMTにおけるアンサンブルIFの限界を克服するため、検索性能を向上させる拡張手法を提案する。
• 語彙的形態が異なる場合でも、IFがルールベースのフィルタリング（例：正規表現）を上回る能力を有するかを評価する。
• IFベースのフィルタリングの自動化における実用的課題、特にしきい値選定と勾配部品への感受性を調査する。

提案手法

• 本研究では、ヘシアンの逆行列を用いず、モデルチェックポイント間の勾配内積を用いて影響を近似する、計算的に効率的なIFの変種、TracInを適用する。
• 影響はC個のチェックポイントにおける平均勾配類似度として計算される：$\mathcal{I}_{\text{TracIn}}(z,z') = \frac{1}{C}\sum_{i=1}^{C} \nabla_\theta L(z')^T \nabla_\theta L(z)$。
• 2つの対照的手法を提案する：GradDiff（勾配差分）とGradHYP（仮説を伴う勾配類似度）、両者とも、ソース埋め込みや全モデルパラメータなどの特定のネットワーク部品に適用する。
• 実際の顧客報告エラーを模倣するため、制御された翻訳エラーを有する合成学習例を構築し、IF性能の制御された評価を可能にする。
• 影響スコアはプローブ例ごとに順位付けされ、影響値の連続的差分に基づくクラスタリングを用いてしきい値戦略を評価する。

実験結果

リサーチクエスチョン

• RQ1 影響関数は、NMTにおける特定の翻訳エラーの原因となっている学習インスタンスを効果的に検索できるか？
• RQ2 ネットワーク部品の選択（例：ソース埋め込み対全モデル）が、NMTにおける影響関数の性能に与える影響は何か？
• RQ3 対照的影響関数の変種（GradDiffとGradHYP）は、NMTにおけるアンサンブルIFを上回る検索性能を実現できるか？
• RQ4 影響関数を用いたフィルタリングの自動化は可能か。それとも、しきい値選定と部品選択がエラーパターンに過敏すぎて現実的でないか？

主な発見

• アンサンブル影響関数は、特に全モデル勾配を用いる場合、NMTにおいて劣った検索性能を示しており、標準的なIFではこのタスクに不十分であることが示された。
• 勾配類似度（影響）は、選択されたネットワーク部品に強く依存しており、全モデル勾配に比べてソース埋め込みから得られる影響スコアはより安定的で意味のあるものであった。
• 提案された対照的影響関数手法（GradDiffとGradHYP）は、全テストされた勾配部品およびパラメータ共有設定において、検索性能を顕著に向上させた。
• 語彙的に異なるがコピーされたソース文を有する学習例は、類似した勾配を示すことがあり、IFが正規表現が捉えきれないエラーパターンを検出できることを示している。
• IFベースのフィルタリングの有効な自動化は依然として困難であり、上位数例に次ぐ影響値が急激に低下するため、自動的しきい値選定が困難である。
• 影響値の「へこみ」は最初の50インスタンス以内に現れるため、わずか数例の学習例が顕著に影響力を持つことが示されたが、この点を信頼性高く特定するのは非自明である。