[論文レビュー] Revisiting Sanity Checks for Saliency Maps

Gal Yona, Daniel Greenfeld|arXiv (Cornell University)|Oct 27, 2021

Explainable Artificial Intelligence (XAI)参考文献 20被引用数 12

ひとこと要約

本稿は、Adebayoらが提唱したsalienceマップのsanity check手法を再評価し、その結論がタスク固有のデータ分布に混同されていると主張する。多対象画像や混合対象刺激を含む制御された摂動を施したカスタムタスクを設計することで、ガイドドバックプロパゲーションなどのsalience手法が改訂されたsanity checkに合格することを示し、元の主張である「これらの手法はモデルアーキテクチャに対して感受性が低い」という主張に反論する。

ABSTRACT

Saliency methods are a popular approach for model debugging and explainability. However, in the absence of ground-truth data for what the correct maps should be, evaluating and comparing different approaches remains a long-standing challenge. The sanity checks methodology of Adebayo et al [Neurips 2018] has sought to address this challenge. They argue that some popular saliency methods should not be used for explainability purposes since the maps they produce are not sensitive to the underlying model that is to be explained. Through a causal re-framing of their objective, we argue that their empirical evaluation does not fully establish these conclusions, due to a form of confounding introduced by the tasks they evaluate on. Through various experiments on simple custom tasks we demonstrate that some of their conclusions may indeed be artifacts of the tasks more than a criticism of the saliency methods themselves. More broadly, our work challenges the utility of the sanity check methodology, and further highlights that saliency map evaluation beyond ad-hoc visual examination remains a fundamental challenge.

研究の動機と目的

• Adebayoらが提唱したsalienceマップの評価のためのsanity check手法の妥当性に挑戦すること。
• 元の研究で示されたsalience手法（例：ガイドドバックプロパゲーション）がモデルアーキテクチャに対して感受性がないという結論が、使用された特定のタスクに起因するものであるかどうかを調査すること。
• 事前に正しいsalienceマップが分かっている制御された合成タスクを設計し、データ分布の影響を評価結果に分離すること。
• モデル依存の推論を明示的に要請するタスクで評価された場合、salience手法が改訂されたsanity checkに合格することを示すこと。
• 現在のsanity checkフレームワークが、実際の応用においてsalience手法を区別するのに有効であるかどうかを疑問視すること。

提案手法

• 元のsanity checkの目的を因果的に再定式化し、データ生成分布への依存関係を明示する。
• MNIST上で2つのカスタムタスクを設計：1つは上半分が欠損した画像を検出する（摂動タスク）、もう1つは数字を識別する（分類タスク）、両方とも正しいsalienceマップが既知である。
• 高い精度（0.99）でモデルを訓練することで、タスク固有の表現を学習させること。
• 訓練済みモデルと同アーキテクチャのランダム初期化モデルの両方で、ヴァナイルバックプロパゲーション（VBP）およびガイドドバックプロパゲーション（GBP）を用いてsalienceマップを生成する。
• TinyImageNetを用いてImageNetへの拡張を実施し、混合対象（例：エスプレッソ + バーブン）を含むペaired画像を生成。ラベルは1つの対象にのみ依存する。
• ペアドデータセットでResNet18を微調整し、テスト精度を約77％に達成。その後、訓練済み、事前学習済み、ランダムモデルのsalienceマップを比較する。

実験結果

リサーチクエスチョン

• RQ1 Adebayoらの元のsanity checkは、MNISTおよびImageNetの特定のデータ分布にどの程度依存しているか？
• RQ2 正しいsalienceマップが事前に分かっているタスクで評価された場合、ガイドドバックプロパゲーションなどのsalience手法がモデルアーキテクチャに感受性を示すかどうかを示せるか？
• RQ3 元の研究で観察された特定のsalience手法の失敗が、タスク固有の混同要因に起因しているのか、それとも根本的な手法的欠陥に起因しているのか？
• RQ4 カスタムで作成された、準合成的なタスクを用いることで、salience手法の評価フレームワークをより信頼性高くできるか？
• RQ5 元のsanity check手法は、VBPとGBPのようなsalience手法を意味的に区別できるほど強くないのでは？

主な発見

• カスタムの多対象タスクでは、VBPおよびGBPの両方とも、訓練済みモデルとランダム初期化モデルで視覚的に明確に異なるsalienceマップを生成しており、モデル感受性が確認された。
• MNISTベースの摂動タスクでは、訓練済みモデルのsalienceマップは関連領域（例：欠損した上半分）を正しく強調しているが、ランダムモデルのマップはぼやけており構造的でない。
• ImageNetベースのペアドオブジェクトタスクでは、微調整済みResNet18のsalienceマップは関連オブジェクト（例：エスプレッソ）にのみ集中しているが、ランダムモデルのマップは両方のオブジェクトを均等に強調している。
• 結果として、ガイドドバックプロパゲーションが改訂されたsanity checkに合格することが示され、元の主張（モデルアーキテクチャに対して感受性がない）に反する。
• 元のsanity check手法がデータ分布に依存することが明らかになった。データ分布を変更すると、結果が顕著に変化した。
• 本研究では、現在のsanity checkフレームワークが、タスク設計に混同要因が含まれる場合、salience手法を意味的に区別するのに不十分である可能性を示唆している。