[論文レビュー] Evaluating Saliency Methods for Neural Language Models

Shuoyang Ding, Philipp Koehn|arXiv (Cornell University)|Apr 12, 2021

Explainable Artificial Intelligence (XAI)参考文献 47被引用数 6

ひとこと要約

本論文は、神経言語モデルにおけるsalience手法を評価するための定量的ベンチマークを提案する。主な評価基準は2つである：妥当性（人間の直感と整合性があるか）と忠実性（入力の摂動に対しても一貫性があるか）。研究では、salience解釈がしばしば信頼できないことが明らかになった。性能はモデルアーキテクチャーや設定に極めて敏感であり、解釈を用いる前に検証するよう研究者に促している。

ABSTRACT

Saliency methods are widely used to interpret neural network predictions, but different variants of saliency methods often disagree even on the interpretations of the same prediction made by the same model. In these cases, how do we identify when are these interpretations trustworthy enough to be used in analyses? To address this question, we conduct a comprehensive and quantitative evaluation of saliency methods on a fundamental category of NLP models: neural language models. We evaluate the quality of prediction interpretations from two perspectives that each represents a desirable property of these interpretations: plausibility and faithfulness. Our evaluation is conducted on four different datasets constructed from the existing human annotation of syntactic and semantic agreements, on both sentence-level and document-level. Through our evaluation, we identified various ways saliency methods could yield interpretations of low quality. We recommend that future work deploying such methods to neural language models should carefully validate their interpretations before drawing insights.

研究の動機と目的

• 神経言語モデルにおけるsalience手法の定量的評価の欠如に対処すること。
• 妥当性と忠実性を測定することで、salience解釈が信頼できるものかどうかを評価すること。
• 体系的な評価を可能にするために、人間がアノテートした言語データを用いたベンチマークを構築すること。
• salience手法が信頼できる解釈を生み出す条件を同定すること。
• モデル行動に関する結論を下す前に、salience解釈の厳密な検証を推奨すること。

提案手法

• 本研究は、トランスフォーマーに基づく言語モデル上で、vanilla gradient、SmoothGrad、Integrated Gradientsといったsalience手法を評価する。
• 単語レベルの重要度スコアは、埋め込み次元にわたる勾配値をL2ノルムを用いて合成することで得られる。
• 妥当性は、構文的・意味的一致タスクにおける人間がアノテートしたキーワード（cue/attractor words）とsalienceスコアを比較することでテストされる。
• 忠実性は、入力特徴を摂動させ、予測結果が変わらない場合のsalienceスコアの一貫性を測定することで評価される。
• 文レベルおよびドキュメントレベルのタスクにおける既存の言語的アノテーションから4つのテストセットを構築した。
• モデルアーキテクチャーや複数の設定を対象として評価を実施し、感度を評価した。

実験結果

リサーチクエスチョン

• RQ1 salience手法は、構文的・意味的一致タスクにおける人間がアノテートした言語的キーワードとどの程度整合性を持つのか？
• RQ2 モデルの予測が変わらないような入力摂動に対して、salience解釈はどの程度一貫性を示すのか？
• RQ3 モデルアーキテクチャーや設定が、salience解釈の信頼性にどのように影響するのか？
• RQ4 忠実性と妥当性は、salience手法の信頼性を評価するための信頼できる指標とみなせるか？
• RQ5 どのような条件下で、salience手法は神経言語モデルの意思決定を解釈するのに信頼できると見なせるのか？

主な発見

• salience手法はしばしば妥当性を欠く解釈を生み出し、言語的一致タスクにおける人間がアノテートしたキーワードと一致しないことが多い。
• 解釈は忠実性テストでも頻繁に失敗し、モデルの予測を維持する摂動に対してもスコアの一貫性が見られない。
• salience解釈の信頼性は、モデルアーキテクチャーやハイパーパrameterの設定に極めて敏感である。
• どのテストセットにおいても、1つのsalience手法が他のすべての手法を一貫して上回るとは限らないため、普遍的に信頼できる手法は存在しない。
• 最新のモデルですら、妥当性と忠実性の基準による検証が行われない限り、解釈の質が非常に低いことが明らかになった。
• 本研究では、検証のないsalience解釈が、モデルの推論プロセスに関する誤った結論を導く可能性があることを示した。