[論文レビュー] Pair the Dots: Jointly Examining Training History and Test Stimuli for Model Interpretability

Yuxian Meng, Chun Chieh Fan+4 more|arXiv (Cornell University)|Oct 14, 2020

Adversarial Robustness in Machine Learning参考文献 70被引用数 10

ひとこと要約

本稿では、影響関数を通じてテスト入力のサリエンシーを影響力のあるトレーニングデータへと逆方向にたどることで、ニューラルモデルの予測を説明する、微分可能で効率的なフレームワークを提案する。この手法により、包括的な解釈可能性、誤り分析、 adversarial 例の生成、最小限の再訓練でモデルの補正が可能となり、標的的なトレーニングデータ拡張によって最大1%の精度向上を達成する。

ABSTRACT

Any prediction from a model is made by a combination of learning history and test stimuli. This provides significant insights for improving model interpretability: {\it because of which part(s) of which training example(s), the model attends to which part(s) of a test example}. Unfortunately, existing methods to interpret a model's predictions are only able to capture a single aspect of either test stimuli or learning history, and evidences from both are never combined or integrated. In this paper, we propose an efficient and differentiable approach to make it feasible to interpret a model's prediction by jointly examining training history and test stimuli. Test stimuli is first identified by gradient-based methods, signifying {\it the part of a test example that the model attends to}. The gradient-based saliency scores are then propagated to training examples using influence functions to identify {\it which part(s) of which training example(s)} make the model attends to the test stimuli. The system is differentiable and time efficient: the adoption of saliency scores from gradient-based methods allows us to efficiently trace a model's prediction through test stimuli, and then back to training examples through influence functions. We demonstrate that the proposed methodology offers clear explanations about neural model decisions, along with being useful for performing error analysis, crafting adversarial examples and fixing erroneously classified examples.

研究の動機と目的

• ニューラルモデルにおける解釈性のギャップを、テスト刺激とトレーニング履歴を統合的に分析することで解消すること。
• 従来の手法がテスト入力やトレーニング例を個別に扱うという制限を克服すること。
• テスト入力の特徴から影響力のあるトレーニングデータへとモデル意思決定を逆方向に追跡できる、微分可能で効率的なフレームワークを開発すること。
• トレーニングデータの変更を通じて、誤り診断、adversarial 例の作成、モデル補正といった実用的応用を可能にすること。
• 本手法の有効性を、NLP タスクにおけるモデルの頑健性と解釈性の向上の観点から実証すること。

提案手法

• テスト入力のサリエンシーは勾配ベースの手法を用いて特定され、モデルの予測に最も影響を与えるテスト例の部分が特定される。
• サリエンシー点数は、各トレーニング例が予測に与える影響を定量化する影響関数を用いて、テスト入力からトレーニング例へと伝搬される。
• この手法は完全に微分可能であり、テスト入力からモデルパラメータを経由してトレーニング例へとエンドツーエンドの勾配伝播が可能である。
• モデルの再訓練を伴わずに影響関数が効率的に計算され、時間的効率性が保証される。
• フレームワークは、影響力のあるトレーニング例を変更することで adversarial 例を生成する（攻撃）ことと、誤分類を是正するためトレーニング例を変更する（補正）ことの両方をサポートする。
• 変更は、語義を変更する同義語・対義語の置換を用いて、モデルの注目を変更する。再訓練はデータ拡張後に一度だけ実施される。

実験結果

リサーチクエスチョン

• RQ1 テスト刺激とトレーニング履歴を統合的に分析することで、モデルの予測をどのように共同で解釈できるか？
• RQ2 どのトレーニング例のどの部分が、テスト入力の特定の領域に注目させているのか？
• RQ3 テスト入力を変更するのではなく、影響力のあるトレーニング例を変更することで adversarial 例を生成できるか？
• RQ4 誤分類を是正するために、トレーニング例を変更して注目を正しい特徴へとシフトさせられるか？
• RQ5 誤分類されたテスト例ごとに変更されたトレーニング例の数が、adversarial および補正設定におけるモデル性能にどのように影響するか？

主な発見

• 1つの影響力のあるトレーニング例を変更しただけで、IMDB データセットではモデルの精度が最大25%低下した。これは、本手法が強力な adversarial 例を生成できることを示している。
• サリエンシー領域の注目を抑制し、非サリエンシー領域へ注目を再配分する、統合的な adversarial メソッドが、同じ数の変更例を用いた個別の手法を上回った。
• 誤分類された予測を是正するためのトレーニング例を生成する際、1つの誤分類例あたり4つの変更済み例を追加すると、テスト精度が1%向上し、4例でピークに達した。その後、過学習が発生した。
• 誤分類されたテスト例ごとに4つを超えるトレーニング例を生成すると、過学習が発生し、テスト性能が急激に低下した。
• 誤分類されたテスト例ごとに20個の変更済みトレーニング例を生成した場合、精度が52.0%まで低下するなど、攻撃の強度とモデルの一般化性能のトレードオフが顕著に現れた。
• 本手法は計算的に効率的であり、影響関数の分析中にモデルの再訓練を回避しており、事前に計算された影響関数と勾配ベースのサリエンシーに依存している。