[论文解读] Combining Counterfactuals With Shapley Values To Explain Image Models

Aditya Lahiri, Kamran Alipour+2 more|arXiv (Cornell University)|Jun 14, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提出了一种结合反事实图像生成与Shapley值的方法，为图像分类模型生成对比性、人类可解释的解释。通过使用预训练的StyleGAN2和学习到的偏移预测器，基于高层属性生成反事实图像，该方法计算原始图像与反事实图像之间预测差异的Shapley值，从而实现具有强理论保证的公理化、对比性解释。

ABSTRACT

With the widespread use of sophisticated machine learning models in sensitive applications, understanding their decision-making has become an essential task. Models trained on tabular data have witnessed significant progress in explanations of their underlying decision making processes by virtue of having a small number of discrete features. However, applying these methods to high-dimensional inputs such as images is not a trivial task. Images are composed of pixels at an atomic level and do not carry any interpretability by themselves. In this work, we seek to use annotated high-level interpretable features of images to provide explanations. We leverage the Shapley value framework from Game Theory, which has garnered wide acceptance in general XAI problems. By developing a pipeline to generate counterfactuals and subsequently using it to estimate Shapley values, we obtain contrastive and interpretable explanations with strong axiomatic guarantees.

研究动机与目标

• 为解决机器学习模型中高维图像输入的解释问题，其中像素级解释缺乏人类可解释性。
• 克服传统Shapley值方法在图像模型中的局限性，后者存在计算成本高且缺乏对比性上下文的问题。
• 通过生成修改特定高层属性的反事实图像，提供对比性、人类可理解的解释。
• 利用生成模型与博弈论归因方法，为图像分类器决策提供公理化、公平且可解释的解释。
• 通过仅使用预训练组件的最小化训练设置，实现模型无关、可扩展且忠实的图像预测解释。

提出的方法

• 该方法使用预训练的StyleGAN2生成器，通过根据指定属性变化调整潜在空间，生成高分辨率、逼真的反事实图像。
• 训练一个偏移预测器模型，将可解释属性（如秃头、年轻程度）的变化映射到StyleGAN2空间中的相应潜在向量调整。
• 通过将学习到的偏移应用于原始图像的潜在码，生成反事实图像，确保生成结果在语义上合理且逼真。
• 计算Shapley值以解释原始图像与反事实图像之间模型预测差异，将修改后的属性作为特征。
• 该方法避免对所有可能联盟求平均，而是直接比较两个特定图像——原始图像与反事实图像——从而提供具有强公理基础的对比性解释。
• 该方法在VGG主干网络上使用多任务分类器提取图像中的可解释属性，这些属性随后作为输入用于偏移预测器和Shapley值计算。

实验结果

研究问题

• RQ1 我们如何生成在图像数据中修改特定高层属性的有意义且逼真的反事实图像？
• RQ2 在高层可解释特征上计算的Shapley值，是否能提供比像素级归因更具可解释性和对比性的解释？
• RQ3 如何在不产生禁止性计算成本的前提下，高效计算图像模型的Shapley值？
• RQ4 反事实生成与Shapley值的结合能否在保持对人类认知忠实性的同时，提供具有强理论保证的解释？
• RQ5 如何通过融入对比性推理（认知科学支持）使模型解释更具直观性？

主要发现

• 对于图像O₁，增加秃头和男性特征，同时减少年轻程度、浓妆和金发，使吸引力预测从0.73降至0.12，下降0.61。
• 秃头对预测下降的贡献为-0.34，是导致下降的最大单一因素，其次是年轻程度，贡献为-0.28。
• 反事实图像C₄通过增加年轻程度、金发、浓妆，同时减少男性特征和秃头生成，其预测变化由这些属性的正向Shapley贡献所解释。
• 该方法仅使用预训练的StyleGAN2和轻量级偏移预测器，成功生成了逼真的反事实图像，避免了微调或复杂优化。
• Shapley值归因提供了清晰的对比性解释，与人类推理一致，表明特定属性的变化直接影响了模型预测。
• 该方法在极小训练量下实现了忠实且可解释的解释，仅使用预训练的VGG主干网络进行属性预测，以及一个单一的偏移预测器模型。