[論文レビュー] First is Better Than Last for Language Data Influence

Chih‐Kuan Yeh, Ankur Taly+3 more|arXiv (Cornell University)|Feb 24, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、TracIn-WE を提案する。これは、最後の層ではなく単語埋め込み層からの勾配を用いて影響スコアを計算するデータインフルエンス手法であり、従来の手法で顕著なキャンセル効果が生じ、識別力が低下するのを軽減する。TracIn-WE は、NLP分類タスクにおけるケース削除評価で、最後の層の手法を著しく上回り、4–10倍の性能向上を達成する。また、モデルのデバッグを強化するための単語レベルのインフルエンス分解を可能にする。

ABSTRACT

The ability to identify influential training examples enables us to debug training data and explain model behavior. Existing techniques to do so are based on the flow of training data influence through the model parameters. For large models in NLP applications, it is often computationally infeasible to study this flow through all model parameters, therefore techniques usually pick the last layer of weights. However, we observe that since the activation connected to the last layer of weights contains "shared logic", the data influenced calculated via the last layer weights prone to a ``cancellation effect'', where the data influence of different examples have large magnitude that contradicts each other. The cancellation effect lowers the discriminative power of the influence score, and deleting influential examples according to this measure often does not change the model's behavior by much. To mitigate this, we propose a technique called TracIn-WE that modifies a method called TracIn to operate on the word embedding layer instead of the last layer, where the cancellation effect is less severe. One potential concern is that influence based on the word embedding layer may not encode sufficient high level information. However, we find that gradients (unlike embeddings) do not suffer from this, possibly because they chain through higher layers. We show that TracIn-WE significantly outperforms other data influence methods applied on the last layer significantly on the case deletion evaluation on three language classification tasks for different models. In addition, TracIn-WE can produce scores not just at the level of the overall training input, but also at the level of words within the training input, a further aid in debugging.

研究の動機と目的

• 大規模なNLPモデルにおいて、最後の層の重みを使用する際のデータインフルエンス手法におけるキャンセル効果が識別力を低下させる問題に対処すること。
• 最終層から単語埋め込み層にインフルエンス計算を移行させることで、NLPにおけるインフルエンス推定のスケーラビリティと正確性を向上させること。
• モデル予測の詳細なデバッグを可能にするために、単語レベルのインフルエンス分解を可能にすること。
• トレーニング例とテスト例が共通語をほとんど共有しない低重複設定におけるインフルエンス手法のロバスト性を評価すること。
• モデルの誤分類を是正するためのインフルエンスベースのトレーニングデータキュレーションの有効性を実証すること。

提案手法

• TracInの変種として、TracIn-WEを提案する。これは、最終層ではなく単語埋め込み層の勾配を用いてインフルエンスを計算することで、キャンセル効果を低減する。
• トレーニング例とテスト例の間で重複する単語の単語埋め込み勾配類似度の和をインフルエンススコアとして用いる。
• 高レベルの意味的情報を保持しつつ、埋め込み層で作業するにもかかわらず、上位層を経由した勾配バックプロパゲーションを活用する。
• 埋め込み勾配からの単語ごとのインフルエンススコアを計算することで、単語レベルのインフルエンス分解を可能にする。
• TracIn-WEスコアに基づき、最も影響力の強いトレーニング例を上位k個削除する、またはその例の最も影響力の強い単語を[PAD]に置き換えることで、モデルの誤予測を是正する。
• ゼロオーバラップ実験では、トレーニング中に固定された単語埋め込みを用い、語彙的重複とは別に意味的類似性の影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 NLPモデルにおいて、最終層ではなく単語埋め込み層でインフルエンス計算を実行することで、キャンセル効果が最終層の手法よりも低減するか？
• RQ2 語彙的重複がない状況下でも、単語埋め込みに基づくインフルエンススコアが高レベルの意味的関係を捉えることができるか？
• RQ3 複数のNLPタスクにおいて、TracIn-WEは最終層のインフルエンス手法と比べて、ケース削除評価でどのように性能を発揮するか？
• RQ4 TracIn-WEは、モデル予測の単語レベルのデバッグをどの程度可能にするか？
• RQ5 TracIn-WEに基づくデータキュレーションは、精度の低下を最小限に抑えながら、モデルの誤分類を効果的に是正できるか？

主な発見

• TracIn-WE は、毒性分類、AGnews、MNLI タスクにおいて、最終層のインフルエンス手法よりもケース削除性能を4–10倍向上させる。
• 固定された単語埋め込みを用いたゼロオーバラップ設定下でも、TracIn-WE のバリエーションは最終層の手法を上回り、語彙的重複がなくても意味的類似性に頼ったロバスト性を示す。
• TracIn-WE は単語レベルのインフルエンス分解を可能にし、トレーニング例における最も影響力の強い単語の特定が可能になる。
• TracIn-WE により上位k個の最も影響力の強いトレーニング例を削除することで、誤分類の是正が73%の確率で達成される。これは最終層の手法では33%にとどまる。
• TracIn-WE を用いて上位200の相手例における最も否定的影響力の強い単語を置き換えることで、誤りの是正が70%の確率で達成される。対照的に、最終層の手法では30%にとどまる。
• 標的的な削除後、モデルの精度は0.02%未満の低下にとどまり、データキュレーション中に性能が著しく低下しないことが示された。