[論文レビュー] Explaining Image Classifiers Using Contrastive Counterfactuals in Generative Latent Spaces

Kamran Alipour, Aditya Lahiri+3 more|arXiv (Cornell University)|Jun 10, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、再訓練や条件付けを伴わずに、事前学習済みの生成モデルを用いて潜在空間内で対照的で因果的かつ解釈可能な反事実的説明を、ブラックボックス画像分類器に対して生成する手法を提案する。本手法は属性の十分性および必要性スコアを用いてグローバルな説明を可能にし、顔の魅力度分類において特徴量の帰属度と生成された反事実的画像の両方で有効性を示している。

ABSTRACT

Despite their high accuracies, modern complex image classifiers cannot be trusted for sensitive tasks due to their unknown decision-making process and potential biases. Counterfactual explanations are very effective in providing transparency for these black-box algorithms. Nevertheless, generating counterfactuals that can have a consistent impact on classifier outputs and yet expose interpretable feature changes is a very challenging task. We introduce a novel method to generate causal and yet interpretable counterfactual explanations for image classifiers using pretrained generative models without any re-training or conditioning. The generative models in this technique are not bound to be trained on the same data as the target classifier. We use this framework to obtain contrastive and causal sufficiency and necessity scores as global explanations for black-box classifiers. On the task of face attribute classification, we show how different attributes influence the classifier output by providing both causal and contrastive feature attributions, and the corresponding counterfactual images.

研究の動機と目的

• ブラックボックス画像分類器における因果的かつ解釈可能な説明の不足に取り組むこと、特に感受性の高い応用分野において。
• 分類器の意思決定に因果的に影響を与えるが、人間が理解可能な属性変更を保ったまま、反事実的画像を生成すること。
• 分類器の挙動に対するグローバルで対照的な説明を可能にする、確率的十分性および必要性スコアを計算すること。
• 分類器の学習データに依存しない、事前学習済みの生成モデルを用いて任意のブラックボックス画像分類器を説明すること。
• 再訓練を必要とせず、不安定さや前処理依存性に苦しむ係数ベースの帰属度とは対照的に、スケーラブルで効率的な代替手法を提供すること。

提案手法

• 事前学習済み生成モデルの潜在空間で、所望の属性変更に対応する方向ベクトルを予測するためのシフト予測モデルを訓練する。
• 入力画像の潜在コードに学習されたシフト方向を適用することで、アイデンティティを保持しつつ特定の属性を変更した反事実的画像を生成する。
• 属性変更の下での結果変化の確率的尤度を測定することで、十分性および必要性スコアを確率的に計算する。
• 生成モデルの潜在空間で動作するため、生成器の再訓練を伴わず、効率的なサンプリングが可能である（例：StyleGAN）。
• 正負の属性摂動（例：属性の増加または減少）をサポートし、SUF⁺、SUF⁻、NEC⁺、NEC⁻スコアを計算する。
• 説明は対照的推論に基づく：「この属性が異なっていたらどうだったか？」に定量的な結果変化確率を関連付ける。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、分類器の出力に因果的に影響を与えるが、解釈可能である反事実的画像を生成できるか？
• RQ2 事前学習済みの生成モデルは、画像分類器のための効率的でスケーラブルかつ分離可能な反事実的生成をどのように可能にするか？
• RQ3 潜在空間の操作を用いた画像分類の文脈において、十分性および必要性スコアを形式化し、どのように計算できるか？
• RQ4 これらのスコアは、画像分類器の潜在的なバイアスや特徴量の相互作用をどの程度明らかにするか？
• RQ5 確率的反事実的説明に基づく対照的説明は、従来の係数ベースの帰属度手法を上回ることができるか？

主な発見

• Heavy Makeup、Blond Hair、Young 属性の高い SUF⁺ 値は、これらの特徴を増加させると不魅力的予測から魅力的予測に変化させることの最も十分であることを示している。
• Male および Bald 属性の高い SUF⁻ 値は、これらの特徴を減少させると不魅力的結果を魅力的へ逆転させることの最も十分であることを示している。
• Baldness、Moustache、Male の高い NEC⁺ スコアは、これらの属性の増加を避けることが、魅力的分類を維持するために最も必要であることを示している。
• Young、Heavy Makeup、Blond Hair の高い NEC⁻ スコアは、これらの属性の減少を避けることが、魅力的ラベルを維持するために最も必要であることを示している。
• 本手法は、計算された十分性および必要性スコアを視覚的に裏付ける、現実的で信頼性のある反事実的画像を効果的に生成している。
• 前処理依存性や不安定性に苦しむ従来の係数ベースの帰属度とは対照的に、因果的根拠に基づき、安定的かつ解釈可能な説明を提供する点で、本手法は優れている。