[論文レビュー] The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?

Jasmijn Bastings, Katja Filippova|arXiv (Cornell University)|Oct 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 24被引用数 4

ひとこと要約

この位置付け論文は、特にモデル開発者が忠実でトークンレベルの関連スコアを求める必要がある場合、入力の重要度を示す手法が注意メカニズムを上回ることを主張している。注意の抽出が容易であるものの、重要度の高い入力トークンを特定するという目的を満たす点で、重要度手法が優れている。著者らは、自然言語処理における解釈可能性の分野において、注意から重要度へ焦点を移すよう提言する。

ABSTRACT

There is a recent surge of interest in using attention as explanation of model predictions, with mixed evidence on whether attention can be used as such. While attention conveniently gives us one weight per input token and is easily extracted, it is often unclear toward what goal it is used as explanation. We find that often that goal, whether explicitly stated or not, is to find out what input tokens are the most relevant to a prediction, and that the implied user for the explanation is a model developer. For this goal and user, we argue that input saliency methods are better suited, and that there are no compelling reasons to use attention, despite the coincidence that it provides a weight for each input. With this position paper, we hope to shift some of the recent focus on attention to saliency methods, and for authors to clearly state the goal and user for their explanations.

研究の動機と目的

• 自然言語処理における注意を説明手段として広く用いる慣習に挑戦すること、特に重要度手法が同じ目的を果たしているにもかかわらずである。
• 注意を説明に用いる際の暗黙の目的を特定すること：予測に最も関連する入力トークンを同定すること。
• このような説明の意図されたユーザーが通常はモデル開発者であることを明確にすることであり、忠実性が極めて重要である。
• 忠実でトークンレベルの関連スコアを達成する点で、重要度手法が注意よりも適していると主張すること。
• 研究者が説明の目的とユーザーを明確に定義することで、解釈可能性研究の質を向上させることを促すこと。

提案手法

• 注意を説明に用いる際の暗黙の目的を分析する：予測に最も重要な入力トークンを同定すること、特にモデル開発者を想定して。
• 忠実度の観点から、注意重みと勾配に基づく重要度手法（例：統合勾配、Grad-CAM）を比較する。
• 注意を確立された重要度ベンチマークと比較し、重要度手法が入力の関連性割り当てに特化して設計されている点を指摘する。
• 注意が勾配ベースの重要度測定と相関が低く、敵対的摂動下でも失敗することが示される実証的証拠をレビューする。
• 重要度手法は単一の順方向および逆方向パスのみを必要とし、計算的にも効率的であることが強調される。注意と同程度の効率性を持つ。
• 注意が容易に入手可能であるがゆえに、重要度の代理として使用されるが、著者らは注意を重要度の代替手段として用いるべきではないと提言する。

実験結果

リサーチクエスチョン

• RQ1 なぜ重要度手法が既に同じ目的を果たしているにもかかわらず、注意が説明に広く使われているのか？
• RQ2 実際の注意を説明に用いる際の真の目的は何か？ そしてその説明の意図されたユーザーは誰か？
• RQ3 注意重みの忠実度は、確立された重要度手法と比較して、関連する入力トークンを同定する際にどの程度高いのか？
• RQ4 入力の関連性説明において、重要度手法よりも注意を好む、明確な根拠はあるか？
• RQ5 トークンレベルの重要度を超えた解釈可能性の目的を満たすために、どのような代替説明手法がより適しているのか？

主な発見

• 注意を説明に用いる主な目的は、予測に最も関連する入力トークンを同定することであり、これは重要度手法が明示的に設計されているタスクである。
• 実証的研究では、注意重みが勾配ベースの重要度測定と相関が低いことが示され、忠実度が低いことが示唆される。
• 注意メカニズムは、モデルが正しく予測している間でも、入力トークンへの依存度を誤って表現するような操作が可能であり、欺瞞的な重みを生成できる。
• 統合勾配やGrad-CAMのような重要度手法は、予測に重要な入力特徴を同定する点で、より信頼性が高く忠実である。
• 注意の計算的利便性にもかかわらず、重要度手法は同様に効率的であり、順方向および逆方向パスの1回ずつで十分であり、実装がより複雑になるわけではない。
• 注意を説明に用いる際の使用は、しばしば因果的定義の説明を仮定しているが、注意は計算の一点での注目を反映するにすぎず、因果的影響を示さないため、この仮定を満たさない。