[論文レビュー] New Definitions and Evaluations for Saliency Methods: Staying Intrinsic, Complete and Sound

Arushi Gupta, Nikunj Saunshi+3 more|arXiv (Cornell University)|Nov 5, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、完全性と整合性の両方を強制する新しい内在的評価フレームワークを提案し、従来のマスクベース評価の欠陥を是正する。新たに提案された類似度手法と、全変動（TV）正則化が不正なマスクアーティファクトを低減させることで整合性を向上させ、線形および深層ネットワークにおけるより信頼性の高い説明を実現することを示している。

ABSTRACT

Saliency methods compute heat maps that highlight portions of an input that were most {\em important} for the label assigned to it by a deep net. Evaluations of saliency methods convert this heat map into a new {\em masked input} by retaining the $k$ highest-ranked pixels of the original input and replacing the rest with extquotedblleft uninformative extquotedblright\ pixels, and checking if the net's output is mostly unchanged. This is usually seen as an {\em explanation} of the output, but the current paper highlights reasons why this inference of causality may be suspect. Inspired by logic concepts of {\em completeness \& soundness}, it observes that the above type of evaluation focuses on completeness of the explanation, but ignores soundness. New evaluation metrics are introduced to capture both notions, while staying in an {\em intrinsic} framework -- i.e., using the dataset and the net, but no separately trained nets, human evaluations, etc. A simple saliency method is described that matches or outperforms prior methods in the evaluations. Experiments also suggest new intrinsic justifications, based on soundness, for popular heuristic tricks such as TV regularization and upsampling.

研究の動機と目的

• 標準的な内在的評価フレームワークにおける整合性の欠如に起因する問題を是正すること。これは、完全性の確認のみを目的としており、整合性を無視しているためである。
• 妥当な説明のための必要条件としての整合性を形式化すること。これにより、誤ったラベルが類似度マスクによって正当化されないことを保証する。
• 人為的アノテーションや補助ネットワークを一切使用せず、元のモデルとデータのみを用いる新しい内在的評価フレームワークを開発すること。
• 類似度手法における一般的なヒューリスティックな手法（例：TV正則化）の理論的・実験的妥当性を裏付けること。
• 新しい評価基準に照らして最先端の性能を達成する新しい類似度手法を提案すること。

提案手法

• 論理的完全性と整合性に基づく形式的なフレームワークを導入し、類似度手法の評価を実施。説明は、誤った予測を正当化してはならない。
• 二値マスク M を用いてマスクされた入力を定義。ここで、類似度スコア上位 k ピクセルのみを保持し、残りは情報のない（グレーの）値に置き換える。
• 正しく予測されたラベルと誤ったラベルの両方の AUC を用いて、完全性と整合性を同時に評価する新しい内在的評価指標を提案。
• 入力特徴値とモデル重みの積に基づいて類似度ピクセルを選択する類似度手法を提案。サイズ制約および TV 制約のもとで最適化を行う。
• 全変動（TV）正則化を導入し、類似度マップの空間的整合性を強制することで、誤ったラベルの正当化を引き起こすアーティファクトを低減する。
• 線形モデル設定において、チェルノフの不等式を用いて、TV 正則化付き類似度集合が誤ったラベルを誤って正当化する確率が非常に低いことを理論的に証明する。

実験結果

リサーチクエスチョン

• RQ1 標準的な内在的評価は、完全性の確認のみを実施しており、整合性を無視しているため、類似度手法の妥当性を信頼してよいのだろうか？
• RQ2 TV 正則化のような一般的なヒューリスティクスが、類似度説明の整合性をどの程度向上させるのか？
• RQ3 類似度手法を、内在的評価において完全性と整合性の両方を満たすように設計することは可能か？
• RQ4 なぜ TV 正則化が類似度マップにおける不正なマスクアーティファクトを低減するのか、理論的根拠はあるか？
• RQ5 従来の類似度手法は、新しい完全性と整合性の基準において、提案手法と比較してどの程度の性能を示すのか？

主な発見

• 提案された類似度手法は、新しい完全性と整合性評価指標において、先行研究の最先端手法と同等またはそれを上回る性能を達成している。
• 実験により、TV 正則化がマスク入力における誤ったラベルの AUC を顕著に低減させ、完全性を損なわせることなく整合性を向上させていることが示された。
• 線形モデル設定において、サイズ L = Ω(1/γ²) の TV 正則化付き類似度集合は、高い確率で正しい予測を正当化できるが、誤った予測を正当化することはできない。
• 理論的分析により、重みと入力が有界である条件下で、TV 制約付き類似度集合が誤ったラベルを誤って特定する確率は、L とともに指数関数的に減少することが証明された。
• 本研究では、従来の類似度手法が高水準の完全性スコアを達成する一方で、アーティファクトを含むマスクにより誤ったラベルを正当化してしまうため、整合性に失敗することが明らかになった。
• 結果から、TV 正則化は単なるヒューリスティクスではなく、特に高次元入力において、整合性のある類似度説明を実現する上で不可欠な要素であることが示唆された。