[論文レビュー] Rethinking Attention-Model Explainability through Faithfulness Violation Test

Yibing Liu, Haoliang Li+4 more|arXiv (Cornell University)|Jan 28, 2022

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本稿では、入力特徴量がモデル予測を促進するか抑制するかを正しく反映しているかどうかを評価する極性一貫性を検証する忠実性違反テストを導入する。この手法により、特に原始的アテンションでは忠実性違反率が高く、勾配ベースの手法（例：Attention ⊙ Gradient）では著しく低い違反率を示すことが明らかになった。これにより、説明可能性評価において極性一貫性を優先すべきであることが強調される。

ABSTRACT

Attention mechanisms are dominating the explainability of deep models. They produce probability distributions over the input, which are widely deemed as feature-importance indicators. However, in this paper, we find one critical limitation in attention explanations: weakness in identifying the polarity of feature impact. This would be somehow misleading -- features with higher attention weights may not faithfully contribute to model predictions; instead, they can impose suppression effects. With this finding, we reflect on the explainability of current attention-based techniques, such as Attentio$\odot$Gradient and LRP-based attention explanations. We first propose an actionable diagnostic methodology (henceforth faithfulness violation test) to measure the consistency between explanation weights and the impact polarity. Through the extensive experiments, we then show that most tested explanation methods are unexpectedly hindered by the faithfulness violation issue, especially the raw attention. Empirical analyses on the factors affecting violation issues further provide useful observations for adopting explanation methods in attention models.

研究の動機と目的

• 既存の忠実性評価がアテンションベースの説明における極性一貫性を無視するという重要なギャップを解消すること。
• 説明重みが入力特徴量が予測に寄与するか抑制するかを正しく反映しているかどうかを診断すること。
• 代表的な説明手法（例：Attention Rollout、LRPベースの手法）を、この新しい基準のもとで評価すること。
• アテンション説明における忠実性違反に寄与するアーキテクチャ的および手法的要因を同定すること。
• 忠実な説明手法の設計および評価において、極性一貫性を必須の基準とすることを提唱すること。

提案手法

• 説明重みの符号が、対応する入力特徴量の実際の影響極性（寄与または抑制）を正しく示しているかを評価する診断的忠実性違反テストを提案する。
• 各サンプルについて、最大絶対値のアテンション重みを特定し、その符号が、上位10%の重み付き入力コンポonentsを除去した後の信頼度の変化によって特定された真の影響方向と一致するかを確認する。
• 信頼度の変化（ΔC）を用いて、高アテンション領域を除去した際の影響を測定する：ΔC < 0 は抑制を示し、ΔC > 0 は寄与を示す。
• 6つの多様なタスクおよび9つのデータセットで、原始的アテンション、Attention ⊙ Gradient、LRPベースの変種を含む9つの説明手法にこのテストを適用する。
• 外れ値分布（OOD）の問題を軽減するため、置換関数を用い、忠実性評価の堅牢性を確保する。
• 従来の忠実性メトリクスと比較し、従来のメトリクスが極性の不一致を検出できないことを示す。

実験結果

リサーチクエスチョン

• RQ1 既存のアテンションベースの説明手法は、高アテンション重みが特徴量の影響極性（寄与または抑制）を正しく示しているか、どの程度失敗しているか。
• RQ2 提案された忠実性違反テストは、極性不一致を検出する観点で、従来の忠実性評価メトリクスと比べてどの程度優れているか。
• RQ3 どの説明手法が最も低い忠実性違反率を示し、その改善に寄与するアーキテクチャ的または手法的要因は何か。
• RQ4 モデルの複雑さと影響極性の識別能力は、忠実性違反の発生確率にどのように影響するか。
• RQ5 Attention ⊙ Gradient などの勾配ベースのアテンション説明は、原始的アテンションや LRP ベースの手法と比較して、忠実性違反を低減できるか。

主な発見

• VQA v2.0 データセットでは、原始的アテンションが40%の忠実性違反率を示しており、40%のケースで高アテンション領域がモデルの信頼度を低下させていることを示している。
• Attention ⊙ Gradient 法は、Yelp で2%、AgNews で3%、VQA v2.0 で6%の違反率にまで低下させ、著しく改善された極性一貫性を示している。
• 絶対値勾配に基づく手法（例：Attention ⊙ |∇α|）および符号に基づく勾配（例：Attention ⊙ sign(∇α)）は中程度の改善を示し、Yelp で15%、AgNews で7%、VQA で25%の違反率を示した。
• 本研究では、モデルアーキテクチャの複雑さと、影響極性を同定する能力が、忠実性違反の頻度に影響を与える主要因であると判明した。
• 従来の忠実性評価メトリクスは極性の不一致を検出できないため、包括的な評価には本研究で提案する違反テストが不可欠であることが示された。
• 実証結果から、高い重要度相関がある場合でも、極性一貫性を保証しないと説明手法は誤解を招く可能性があることが判明しており、VQA データセットの赤点違反事例でその例が示された。