[論文レビュー] On the (In)fidelity and Sensitivity for Explanations

Chih‐Kuan Yeh, Cheng-Yu Hsieh+3 more|arXiv (Cornell University)|Jan 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 48被引用数 64

ひとこと要約

本論文はブラックボックスモデルのサリエンシー説明に対する不忠実性を定式化し、さまざまな摂動の下で最適な説明を導出し、平滑化ベースの手法が感度と不忠実性の両方を低減できることを示し、実験で検証している。

ABSTRACT

We consider objective evaluation measures of saliency explanations for complex black-box machine learning models. We propose simple robust variants of two notions that have been considered in recent literature: (in)fidelity, and sensitivity. We analyze optimal explanations with respect to both these measures, and while the optimal explanation for sensitivity is a vacuous constant explanation, the optimal explanation for infidelity is a novel combination of two popular explanation methods. By varying the perturbation distribution that defines infidelity, we obtain novel explanations by optimizing infidelity, which we show to out-perform existing explanations in both quantitative and qualitative measurements. Another salient question given these measures is how to modify any given explanation to have better values with respect to these measures. We propose a simple modification based on lowering sensitivity, and moreover show that when done appropriately, we could simultaneously improve both sensitivity as well as fidelity.

研究の動機と目的

• ブラックボックスモデルのサリエンシー説明の客観的評価を動機づける。
• 重要な入力摂動下で予測子の変化を説明がどの程度捉えるかを定量化する堅牢な不忠実性指標を定義・分析する。
• 不忠実性を既存の説明と関連づけ、摂動ベースの新しい説明を導出する。
• 感度と不忠実性の両方を低減する平滑化ベースの説明の修正を提案し、実用的な検証を行う。

提案手法

• 摂動 I に基づく摂動重み付き説明と実際の関数変化との期待二乗差として説明の不忠実性を定義する。
• 不忠実性を最小化する最適な説明 Φ* を、摂動分布 μI と Integrated Gradients (IG) を含む積分を用いて特徴づける。
• 多くの既存の説明（IG、DeepLIFT、LRP）は、特定の摂動下で不忠実性に対して最適であることを示し、他の摂動（例：ノイズ付きベースライン、平方の除去）に対する新しい説明を導出する。
• カーネル平滑化（Φk）を提案してより滑らかな説明を得、Smooth-Grad との関連を示し、平滑化後に不忠実性が改善する条件を提供する。
• ロバストでモンテカルロに優しい最大感度指標を導入し、平滑化を介して忠実度と関連づけ、対義的訓練を任意の強化として含める。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス予測子に対するサリエンシー説明の忠実性を定量化する客観的測度とは何か？
• RQ2 さまざまな摂動スキームが不忠実性目的における最適な説明にどう影響しますか、これらの摂動から新しい説明を設計できますか？
• RQ3 単純な平滑化や訓練戦略で感度と不忠実性の両方を、忠実度を損なうことなく低減できますか？
• RQ4 既存の説明は不忠実性フレームワークの下でどのように機能するか、平滑化の改善は人間の判断と相関しますか？

主な発見

• 不忠実性を最小化する最適説明は、摂動誘起カーネルを用いた滑らかな Integrated Gradients 風の組み合わせとして表現できる。
• 多くの既存の説明（IG、DeepLIFT、LRP）は、特定の摂動下で不忠実性最適説明の特別なケースとして現れ、新たな摂動は新規の説明を生む。
• 平滑化ベースの調整（例：Smooth-Grad）は多くの場合、感度と不忠実性の双方を低減し、定性的なサリエンシーマップを改善できる。
• 緩和された頑健な摂動（例：ノイズ付き基線、平方の除去）は不忠実性を低くし、視覚化をより忠実にする説明につながると、人間の評価で確認された。
• 敵対的訓練は感度と不忠実性の双方を低減するのにも寄与し、より忠実な説明のためのモデルレベル戦略を示唆する。