[論文レビュー] Sanity Checks for Saliency Maps

Julius Adebayo, Justin Gilmer+4 more|arXiv (Cornell University)|Oct 8, 2018

Visual Attention and Saliency Detection被引用数 604

ひとこと要約

本論文は、サリエンシーマップが提供する説明を評価する実用的な方法論を提示し、いくつかの手法がモデルやデータに依存しない可能性があることを示し、したがって特定のデータ-またはモデルに敏感なタスクには不適切である。

ABSTRACT

Saliency methods have emerged as a popular tool to highlight features in an input deemed relevant for the prediction of a learned model. Several saliency methods have been proposed, often guided by visual appeal on image data. In this work, we propose an actionable methodology to evaluate what kinds of explanations a given method can and cannot provide. We find that reliance, solely, on visual assessment can be misleading. Through extensive experiments we show that some existing saliency methods are independent both of the model and of the data generating process. Consequently, methods that fail the proposed tests are inadequate for tasks that are sensitive to either data or model, such as, finding outliers in the data, explaining the relationship between inputs and outputs that the model learned, and debugging the model. We interpret our findings through an analogy with edge detection in images, a technique that requires neither training data nor model. Theory in the case of a linear model and a single-layer convolutional neural network supports our experimental findings.

研究の動機と目的

• 視覚的検査を超えたサリエンシー説明の実用的な評価フレームワークを動機づける。
• サリエンシー手法が本当に訓練済みモデルとデータ生成プロセスに依存しているかを調査する。
• デバッグや外れ値検出など、サリエンシー説明が支援できるまたは支援できないタスクを特定する。

提案手法

• モデルとデータへの依存性を調べることによってサリエンシー手法をテストする方法論を提案する。
• モデル/データの変化に対する感度を評価するため、サリエンシー手法を横断的に広範な実験を行う。
• 線形モデルと単層CNNを用いて、経験的所見を理論的に裏付ける。
• 結果を解釈するために画像のエッジ検出との類推を用いる。
• 結論を保持しつつバグを修正するためにGuided Backprop実験を更新した。

実験結果

リサーチクエスチョン

• RQ1 サリエンシー説明は、学習に使用された特定のモデルまたはデータに依存するのか？
• RQ2 いくつかのサリエンシー手法はモデルやデータの変化に対して不変か？そしてこれはどのタスクに影響するのか？
• RQ3 サリエンシーマップは、デバッグや外れ値検出のための入力と出力の関係を信頼性高く明らかにできるのか？
• RQ4 単純なモデルからの理論的洞察は、複雑なモデルに対する経験的な所見と一致するのか？

主な発見

• いくつかのサリエンシー手法はモデルとデータ生成プロセスの両方から独立している。
• 提案されたテストに失敗した手法は、データまたはモデルに敏感なタスクには不適切である。
• エッジ検出のアナロジーは、説明が最小限の訓練データまたはモデルを必要とする場合を解釈するのに役立つ。
• 線形モデルと単層CNNからの理論的裏付けは、経験的結果と一致する。
• Guided Backprop実験はバグのため更新されたが、全体の結論には影響しない。