[论文解读] Explaining Image Classifiers Using Contrastive Counterfactuals in Generative Latent Spaces

Kamran Alipour, Aditya Lahiri+3 more|arXiv (Cornell University)|Jun 10, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出一种方法，利用预训练生成模型在潜在空间中生成对比性、因果性和可解释的反事实解释，无需微调或条件控制，适用于黑箱图像分类器。该方法通过属性的充分性与必要性得分实现全局解释，在面部吸引力分类任务中，结合特征归因与生成的反事实图像，验证了其有效性。

ABSTRACT

Despite their high accuracies, modern complex image classifiers cannot be trusted for sensitive tasks due to their unknown decision-making process and potential biases. Counterfactual explanations are very effective in providing transparency for these black-box algorithms. Nevertheless, generating counterfactuals that can have a consistent impact on classifier outputs and yet expose interpretable feature changes is a very challenging task. We introduce a novel method to generate causal and yet interpretable counterfactual explanations for image classifiers using pretrained generative models without any re-training or conditioning. The generative models in this technique are not bound to be trained on the same data as the target classifier. We use this framework to obtain contrastive and causal sufficiency and necessity scores as global explanations for black-box classifiers. On the task of face attribute classification, we show how different attributes influence the classifier output by providing both causal and contrastive feature attributions, and the corresponding counterfactual images.

研究动机与目标

• 为解决黑箱图像分类器中缺乏因果性和可解释性解释的问题，尤其是在敏感应用场景中。
• 生成能够因果性地影响分类器决策的反事实图像，同时保持人类可理解的属性变化。
• 计算概率性充分性与必要性得分，以实现对分类器行为的全局、对比性解释。
• 利用预训练生成模型，独立于分类器的训练数据，实现对任意黑箱图像分类器的解释。
• 提供一种可扩展、高效的替代方案，以克服基于系数的归因方法存在的不稳定性与预处理依赖性问题。

提出的方法

• 在预训练生成模型的潜在空间中训练一个位移预测模型，以预测实现期望属性变化的方向向量。
• 通过将学习到的位移方向应用于输入图像的潜在码，生成反事实图像，保持身份不变的同时修改特定属性。
• 通过测量在属性修改下结果变化的可能性，概率性地计算充分性与必要性得分。
• 该方法在生成模型的潜在空间中运行（例如，StyleGAN），实现无需微调生成器的高效采样。
• 该框架支持正负属性扰动（例如，增加或减少属性），以计算 SUF⁺、SUF⁻、NEC⁺、NEC⁻ 得分。
• 解释基于对比推理：'如果该属性不同会怎样？' 并量化结果变化的概率。

实验结果

研究问题

• RQ1 如何生成能够因果性地影响黑箱分类器输出的反事实图像，同时确保可解释性？
• RQ2 预训练生成模型在实现高效、可扩展且解耦的反事实生成方面扮演什么角色？
• RQ3 在使用潜在空间操作的图像分类背景下，如何形式化并计算充分性与必要性得分？
• RQ4 这些得分在多大程度上揭示了图像分类器中的隐藏偏见与特征交互？
• RQ5 基于概率性反事实的对比解释是否能超越传统的基于系数的归因方法？

主要发现

• Heavy Makeup、Blond Hair 和 Young 属性的高 SUF⁺ 值表明，增加这些特征最充分地促使不吸引人的预测变为吸引人。
• Male 和 Bald 属性的高 SUF⁻ 值表明，减少这些特征最充分地将不吸引人的结果反转为吸引人。
• Baldness、Moustache 和 Male 属性的高 NEC⁺ 得分表明，避免这些属性的增加最必要以维持吸引人的分类结果。
• Young、Heavy Makeup 和 Blond Hair 属性的高 NEC⁻ 得分表明，避免这些属性的减少最必要以保持吸引人的标签。
• 该方法成功生成了逼真的反事实图像，视觉上验证了计算出的充分性与必要性得分。
• 该方法优于标准的基于系数的归因方法，提供了因果性基础、稳定且可解释的解释，且独立于预处理。