[論文レビュー] Information-Theoretic Visual Explanation for Black-Box Classifiers

Jihun Yi, Eunji Kim+2 more|arXiv (Cornell University)|Sep 23, 2020

Explainable Artificial Intelligence (XAI)参考文献 37被引用数 6

ひとこと要約

本稿は、2つの新しいアトリビューションマップ、情報ゲイン（IG）とポイントワイズ相互情報量（PMI）を用いて、ブラックボックス画像分類器を情報理論的枠組みで説明するためのフレームワークを提案する。条件付き生成モデルを活用して入力特徴を正確に周辺化することで、パerturbationに基づく説明における分布シフト問題を回避し、より忠実で理論的根拠を持つサリエンシー・マップを実現する。IGはクラスに依存しない（クラス独立）、PMIはクラスに特化した（クラス特異的）ものであり、従来手法に比べて定量的性能が向上している。

ABSTRACT

In this work, we attempt to explain the prediction of any black-box classifier from an information-theoretic perspective. For each input feature, we compare the classifier outputs with and without that feature using two information-theoretic metrics. Accordingly, we obtain two attribution maps--an information gain (IG) map and a point-wise mutual information (PMI) map. IG map provides a class-independent answer to "How informative is each pixel?", and PMI map offers a class-specific explanation of "How much does each pixel support a specific class?" Compared to existing methods, our method improves the correctness of the attribution maps in terms of a quantitative metric. We also provide a detailed analysis of an ImageNet classifier using the proposed method, and the code is available online.

研究の動機と目的

• 深層ニューラルネットワークにおける従来のパerturbationに基づく説明手法の忠実性の欠如を解消すること。
• 特徴の削除に伴う分布外（OoD）問題を克服し、不適切なアトリビューションを回避すること。
• クラスに依存しないおよびクラス特異的な解釈を可能にする理論的根拠に基づいた情報理論的説明フレームワークを提供すること。
• 情報ゲインやポイントワイズ相互情報量といった情報理論的指標を用いて、アトリビューションマップの定量的正確性を向上させること。
• 忠実で理論的根拠に基づいた視覚的説明により、ImageNet分類モデルのより深い解釈を可能にすること。

提案手法

• 入力特徴の正確な周辺化を実現するため、条件付き生成モデル（PatchSampler）を用い、特徴削除時の分布外（OoD）問題を回避する。
• 各画素が分類器の不確実性低減に寄与する程度を定量化するクラスに依存しない指標として情報ゲイン（IG）を採用する。
• 各画素が特定のクラスを支持するか反対するかを測定するクラス特異的指標としてポイントワイズ相互情報量（PMI）を導入する。
• IGマップとPMIマップを用いて、入力画像内のサリエンシー領域を可視化する。IGは情報量の多い画素を強調し、PMIは特定のクラスに対する証拠または反証を示す。
• 2段階のパerturbationに基づく手法を採用する：(1) 生成モデルを用いて特徴なしでの分類器出力を正確に推定し、(2) 特徴あり・なしの予測を情報理論的指標で比較する。
• 画像のコンテキストに応じた画素分布をモデル化できるよう、PatchSamplerをImageNetで学習させ、周辺化時の欠損領域の実際の再構成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特徴削除における分布外（OoD）問題を解消することで、ブラックボックス画像分類器におけるアトリビューションマップの忠実性をどのように向上させられるか？
• RQ2 情報ゲインやポイントワイズ相互情報量といった情報理論的指標は、従来のパerturbationに基づく手法に比べ、より信頼性が高く解釈可能な説明を提供できるか？
• RQ3 提案手法のIGおよびPMIマップは、従来の説明手法に比べて定量的評価指標でどの程度向上を示すか？
• RQ4 生成モデルを用いてデータ分布を保持する形で特徴を周辺化することで、説明品質を向上させられるか？
• RQ5 本手法は、従来のアプローチでは得られなかった、クラスに依存しないサリエンシーとクラス特異的証拠といった独自の解釈能力を提供するか？

主な発見

• 標準的な評価指標を用いて検証された結果、提案手法は従来手法に比べてアトリビューションマップの定量的忠実性がより高い。
• 条件付き生成モデル（PatchSampler）の使用により、OoD問題が顕著に軽減され、不自然な画像パerturbationに起因する不適切なアトリビューションが防止された。
• IGマップはクラスに依存しない画素の情報量の高さを説明し、予測クラスに関係なく分類器の不確実性低減に寄与する領域を強調する。
• PMIマップはクラス特異的洞察を提供し、特定のクラスを支持するか反対するかの証拠を特定する。例えば、「風船」の分類において、傘の布地は証拠となり、ロープは反証となる。
• Salienchy Maps、Grad-CAM、Integrated Gradients、RISEといったベースライン手法に比べ、定性的および定量的両評価で本手法は優れた性能を示した。
• コードは https://github.com/nuclearboy95/XAI-Information-Theoretic-Explanation で公開されており、再現性およびさらなる研究を可能にしている。