[論文レビュー] Explaining an image classifier's decisions using generative models

Chirag Agarwal, Anh‐Tu Nguyen|arXiv (Cornell University)|Oct 9, 2019

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文は、分類器の意思決定を説明する際のより現実的な対応する画像を生成するために、生成的インpainterを帰属割り当て手法に統合することを提案する。ヒューリスティックな摑み方（例：ぼかしやマスキング）の代わりに現実的な画像生成を用いることで、ImageNetおよびPlaces365におけるオブジェクト局所化、削除、およびサリエンシー指標のあらゆる分野で帰属割り当ての質が向上する。

ABSTRACT

Perturbation-based explanation methods often measure the contribution of an input feature to an image classifier's outputs by heuristically removing it via e.g. blurring, adding noise, or graying out, which often produce unrealistic, out-of-samples. Instead, we propose to integrate a generative inpainter into three representative attribution methods to remove an input feature. Our proposed change improved all three methods in (1) generating more plausible counterfactual samples under the true data distribution; (2) being more accurate according to three metrics: object localization, deletion, and saliency metrics; and (3) being more robust to hyperparameter changes. Our findings were consistent across both ImageNet and Places365 datasets and two different pairs of classifiers and inpainters.

研究の動機と目的

• パフォーマンスベースの説明手法が現実的でない、分布外の対応するサンプルを生成するという限界を解消すること。
• 画像分類器の意思決定を説明するために使用される対応する画像の忠実性と現実性を向上させること。
• ヒューリスティックな特徴除去の代わりに現実的な画像生成を用いることで、帰属割り当て手法の正確性と頑健性を向上させること。
• 異なるデータセットおよびモデルペアを対象に、生成的インpaintが複数の帰属割り当て手法に与える影響を評価すること。

提案手法

• 代表的な3つの帰属割り当て手法に事前に学習された生成的インpainterを統合し、ヒューリスティックな特徴除去を現実的な画像再構築に置き換える。
• 特定の入力特徴をマスキングし、文脈に基づいて妥当な内容を埋めることで、インpainterを用いて対応する画像を生成する。
• 修正された帰属割り当て手法を適用し、真のデータ分布下で生成された対応する画像を用いて特徴の重要度スコアを計算する。
• 標準的な評価指標（オブジェクト局所化、削除、サリエンシー）を用いて帰属割り当ての質を評価する。
• 一般化を保証するため、ImageNetおよびPlaces365で2つの異なる分類器-インpaintペアを用いてアプローチを訓練および評価する。
• インpaintベースの手法がベースラインの摑み方と比較してより現実的な対応する画像を生成することを検証する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックな摑み方を生成的インpaintに置き換えることで、帰属割り当て手法における対応する画像の現実性が向上するか？
• RQ2 生成的インpaintの使用が、標準的な評価指標における帰属割り当て手法の正確性にどのように影響するか？
• RQ3 提案手法は、ベースライン手法と比較して、ハイパーパrameterの変更に対してどれほど頑健性を示すか？
• RQ4 性能向上効果は、異なるデータセットおよび分類器-インpaint組み合わせに対しても成立するか？
• RQ5 生成的インpaintにより、真のデータ分布をより忠実に反映する説明が得られるか？

主な発見

• 提案手法は、ヒューリスティックな摑み方と比較して、はるかに現実的で妥当性の高い対応するサンプルを生成する。
• 3つの帰属割り当て手法すべてが、生成的インpaintを用いることでオブジェクト局所化、削除、サリエンシー指標で性能向上を示した。
• 提案手法は、ベースラインアプローチと比較して、ハイパーパrameterの変化に対してより高い頑健性を示した。
• 改善効果は、ImageNetおよびPlaces365の両方のデータセットで一貫して観察された。
• 2つの異なる分類器とインpaintのペアにおいても改善が確認され、本手法の一般化可能性が裏付けられた。
• 結果から、真のデータ分布下での現実的な対応する画像を用いることで、より信頼性が高く正確なモデルの説明が得られることを確認した。