[论文解读] Latent Diffusion Counterfactual Explanations

Karim Farid, Simon Schrodi+2 more|arXiv (Cornell University)|Oct 10, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

该论文提出了一种模型和数据集无关的生成方法——潜在扩散反事实解释（LDCE），利用类别或文本条件的预训练基础潜在扩散模型，生成高质量、语义上合理的反事实图像。通过引入一种新颖的一致性引导机制，该机制利用扩散模型的隐式分类器过滤对抗性梯度，LDCE避免了对辅助鲁棒模型或计算成本高昂的引导机制的依赖，从而在无需访问目标模型训练数据的前提下，实现高效、逼真的反事实图像生成，适用于多种分类器和数据集。

ABSTRACT

Counterfactual explanations have emerged as a promising method for elucidating the behavior of opaque black-box models. Recently, several works leveraged pixel-space diffusion models for counterfactual generation. To handle noisy, adversarial gradients during counterfactual generation -- causing unrealistic artifacts or mere adversarial perturbations -- they required either auxiliary adversarially robust models or computationally intensive guidance schemes. However, such requirements limit their applicability, e.g., in scenarios with restricted access to the model's training data. To address these limitations, we introduce Latent Diffusion Counterfactual Explanations (LDCE). LDCE harnesses the capabilities of recent class- or text-conditional foundation latent diffusion models to expedite counterfactual generation and focus on the important, semantic parts of the data. Furthermore, we propose a novel consensus guidance mechanism to filter out noisy, adversarial gradients that are misaligned with the diffusion model's implicit classifier. We demonstrate the versatility of LDCE across a wide spectrum of models trained on diverse datasets with different learning paradigms. Finally, we showcase how LDCE can provide insights into model errors, enhancing our understanding of black-box model behavior.

研究动机与目标

• 解决现有反事实解释方法依赖对抗性鲁棒模型或复杂引导方案的局限性，这些限制使得其在数据隐私场景下的适用性受限。
• 在无需访问目标模型训练数据的前提下，实现对多种分类器和数据集的高效、高质量反事实图像生成。
• 通过利用基础扩散模型的隐式分类器，在反事实图像生成过程中过滤噪声对抗性梯度。
• 利用潜在扩散模型将语义层面的变化与像素级噪声解耦，确保反事实图像在语义上合理且视觉上逼真。
• 通过生成揭示模型决策边界的反事实图像，为黑箱模型行为提供可解释的洞察。

提出的方法

• LDCE 使用预训练的、类别或文本条件的潜在扩散模型，在潜在空间中生成反事实图像，实现语义内容与像素级细节的解耦。
• 提出一种一致性引导机制，将目标分类器的梯度与扩散模型隐式分类器的梯度对齐，以抑制对抗性扰动。
• 通过最小化结合分类器损失（以实现目标预测）和距离项（以保持与原始输入的接近性）的损失函数，优化反事实图像。
• 一致性机制计算来自目标模型和扩散模型隐式分类器的梯度加权平均，过滤掉方向不一致的噪声梯度。
• 反事实生成在扩散模型的潜在空间中进行，从而实现更快的推理速度，并更好地实现语义与像素级变化的解耦。
• 该方法对目标模型的学习范式（监督学习、自监督学习等）保持无关，仅受限于基础扩散模型的领域覆盖范围。

(a) alp $\rightarrow$ coral reef on ImageNet with ResNet-50

实验结果

研究问题

• RQ1 是否可以在不访问目标模型训练数据或不依赖辅助鲁棒模型的前提下，高效且稳健地生成反事实解释？
• RQ2 基础扩散模型的隐式分类器是否能有效用于在反事实生成过程中过滤对抗性梯度？
• RQ3 LDCE 在多种数据集和学习范式下，能在多大程度上生成语义合理且逼真的反事实图像？
• RQ4 在反事实图像质量、真实感和与原始输入的接近度方面，LDCE 与现有方法相比表现如何？
• RQ5 LDCE 的失败模式是什么？是否可通过超参数调优或架构改进加以缓解？

主要发现

• LDCE 在多种数据集（包括 ImageNet、CelebA HQ、Oxford Pets 和 Oxford Flowers 102）上成功生成了高质量、语义合理的反事实图像，仅依赖分类器梯度和扩散模型的隐式分类器。
• 一致性引导机制有效过滤了对抗性梯度，防止生成不真实的人工伪影或对抗性扰动。
• LDCE 实现了模型和数据集无关的反事实生成，无需微调目标分类器，也无需访问其训练数据。
• 该方法显著降低了对计算密集型引导方案或辅助鲁棒模型的依赖，从而实现更快、更具可扩展性的反事实生成。
• 观察到的失败模式（如模糊、面部扭曲、与目标类别距离过大）主要出现在复杂场景或多物体图像中，但归因于基础扩散模型的局限性，而非核心方法本身。
• 通过超参数调优（如提高分类器强度、降低距离强度）可缓解距离过大的失败情况，但代价是与原始输入的偏差增加。

(b) no-smile $\rightarrow$ smile on CelebA HQ with DenseNet-121