[論文レビュー] Gradient-based Analysis of NLP Models is Manipulable

Junlin Wang, Jens Tuyls+2 more|arXiv (Cornell University)|Oct 12, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 4

ひとこと要約

本稿では、任意のターゲットモデルと統合可能な誤った勾配を生成する「ファサード」モデルを導入することで、自然言語処理における勾配ベースの解釈手法が著しく操作可能であることを示している。元のモデルの予測を保持しているにもかかわらず、統合モデルの勾配は無関係なトークン（例：ストップワードや最初のトークン）に強く偏り、類似性マップ、入力削減、および敵対的攻撃が無効かつ欺瞞的になる。これは、敵対的状況下における勾長ベース解析の忠実性を損なうものである。

ABSTRACT

Gradient-based analysis methods, such as saliency map visualizations and adversarial input perturbations, have found widespread use in interpreting neural NLP models due to their simplicity, flexibility, and most importantly, their faithfulness. In this paper, however, we demonstrate that the gradients of a model are easily manipulable, and thus bring into question the reliability of gradient-based analyses. In particular, we merge the layers of a target model with a Facade that overwhelms the gradients without affecting the predictions. This Facade can be trained to have gradients that are misleading and irrelevant to the task, such as focusing only on the stop words in the input. On a variety of NLP tasks (text classification, NLI, and QA), we show that our method can manipulate numerous gradient-based analysis techniques: saliency maps, input reduction, and adversarial perturbations all identify unimportant or targeted tokens as being highly important. The code and a tutorial of this paper is available at http://ucinlp.github.io/facade.

研究の動機と目的

• 敵対的操作下における自然言語処理における勾長ベースの解釈手法の耐性を調査すること。
• モデルの予測を変更せずに勾長を操作することで、解釈手法を誤導できることを実証すること。
• 類似性マップ、入力削減、および敵対的摂動といった広く使われている勾長ベースの分析ツールの脆さを暴露すること。
• モデル開発者が勾長操作によってモデルバイアスを隠蔽できるリスクを強調すること。
• より耐性があり信頼できる解釈手法の開発を促すこと。

提案手法

• タスクに対して低く均一な予測を生成する一方で、強い誤った勾長（例：ストップワードや最初のトークンに注目）を生成する『ファサード』モデルを訓練する。
• ターゲットモデルの層と統合することで、ファサードモデルをターゲットモデルに統合し、元のモデルのログティおよび予測を保持する。
• 統合モデルはターゲットモデルの予測行動を継承するが、ファサードの勾長パターンに支配される。
• この手法は、テキスト分類、自然言語推論（NLI）、および質問応答（QA）の複数のNLPタスクに適用される。
• 統合モデルに対して、類似性マップ、入力削減、およびHotFlip敵対的攻撃を含む勾長ベースの解析技術を評価し、操作の影響を評価する。
• 攻撃者はモデルの内部構造を制御可能であり、トレーニングまたはファインチューニング時にファサードを挿入可能であると仮定する（ホワイトボックス環境）。

実験結果

リサーチクエスチョン

• RQ1 モデルの予測を変更せずに、勾長ベースの解釈手法を操作し、無関係な入力トークン（例：ストップワードや最初のトークン）に重要度を誤って割り当てることができるか？
• RQ2 ファサードモデルの誤った勾長に支配された場合、類似性マップ、入力削減、および敵対的攻撃はどの程度信頼性を保てるか？
• RQ3 元のモデルの出力を保持しつつ、ストップワードや最初のトークンに勾長が集中するファサードモデルを構築できるか？
• RQ4 勾長の操作は、NLPで広く使われている解釈ツールの忠実性にどのように影響するか？
• RQ5 このような操作により、職業分類における性別バイアスのようなモデルバイアスを、勾長ベースの監査から隠蔽できるか？

主な発見

• 統合モデルは元のモデルとほぼ同一の予測を維持しており、勾長操作の影響にもかかわらずターゲットの動作が保持されていることが確認された。
• 統合モデルの類似性マップでは、予測に無関係なストップワードや最初のトークンが最も重要であると誤って強調されている。
• 統合モデルにおける入力削減技術は、一貫して無関係なトークン（例：ストップワード）を特定・削除し、意味のない入力にまで短縮してしまう。
• 統合モデルに対するHotFlip敵対的攻撃は、主にストップワードや最初のトークンを変更し、意味のある入力特徴を標的としない。
• この操作により、職業分類タスクにおける性別バイアスが、勾長ベースの分析から隠蔽された。
• 複数の入力の勾長を平均化する勾長ベースの手法であるInteGradは、評価された勾長技術の中で最もこの操作に対して耐性が高かった。