[论文解读] Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation

Fan Yang, Ninghao Liu+2 more|arXiv (Cornell University)|Jan 18, 2021

Explainable Artificial Intelligence (XAI)参考文献 42被引用 4

一句话总结

本文提出属性感知扰动（AIP），一种生成式框架，通过在解耦的、属性条件化的潜在空间中进行优化，为原始数据（文本和图像）生成高质量、语义上合理的反事实样本。通过将生成模型条件化于目标标签，并利用反事实损失迭代优化潜在向量，该方法高效生成了有效且逼真的反事实样本，实现模型预测的翻转，同时保持数据分布不变，在真实世界数据集上，其在质量、效率和可解释性方面优于现有方法。

ABSTRACT

With the wide use of deep neural networks (DNN), model interpretability has become a critical concern, since explainable decisions are preferred in high-stake scenarios. Current interpretation techniques mainly focus on the feature attribution perspective, which are limited in indicating why and how particular explanations are related to the prediction. To this end, an intriguing class of explanations, named counterfactuals, has been developed to further explore the "what-if" circumstances for interpretation, and enables the reasoning capability on black-box models. However, generating counterfactuals for raw data instances (i.e., text and image) is still in the early stage due to its challenges on high data dimensionality and unsemantic raw features. In this paper, we design a framework to generate counterfactuals specifically for raw data instances with the proposed Attribute-Informed Perturbation (AIP). By utilizing generative models conditioned with different attributes, counterfactuals with desired labels can be obtained effectively and efficiently. Instead of directly modifying instances in the data space, we iteratively optimize the constructed attribute-informed latent space, where features are more robust and semantic. Experimental results on real-world texts and images demonstrate the effectiveness, sample quality as well as efficiency of our designed framework, and show the superiority over other alternatives. Besides, we also introduce some practical applications based on our framework, indicating its potential beyond the model interpretability aspect.

研究动机与目标

• 为解决在高维且存在非语义特征的原始数据实例（如文本和图像）中生成有效、语义上合理的反事实样本的挑战，传统方法因难以处理高维性和非语义特征而受限。
• 通过在结构化潜在空间中利用生成建模，克服现有反事实生成技术的局限性，如依赖训练集原型、特征替换效率低下或在数据空间中扰动不可行等问题。
• 设计一种方法，实现对黑箱深度神经网络的高效、可控且高质量的反事实生成，尤其适用于需要可操作洞察的高风险应用场景。
• 展示反事实样本在可解释性之外的实际应用价值，包括数据增强和模型鲁棒性提升。

提出的方法

• 通过将预训练的生成模型（如VAE或GAN）条件化于特定目标标签，构建属性感知的潜在空间，从而实现解耦且语义清晰的潜在表征。
• 通过在属性感知潜在空间中优化查询样本的潜在向量，以最小化反事实损失，从而促使模型预测向目标标签转变，实现反事实生成。
• 优化过程通过基于梯度的方法迭代更新潜在码，确保生成样本保持在数据流形内并保持语义一致性。
• 优化完成后，将优化后的潜在向量解码回原始数据空间，生成与原始样本在结构和语义上一致的反事实样本。
• 该方法避免在高维原始数据空间中直接扰动，而是在低维、解耦的潜在空间中操作，使特征更具鲁棒性和可解释性。
• 通过适配生成模型和潜在空间条件化机制，该框架可同时支持图像和文本数据，适配不同模态的数据特性。

Figure 1 . Designed framework for counterfactual sample.

实验结果

研究问题

• RQ1 我们能否在不依赖训练集原型或干扰样本的情况下，为图像和文本等原始数据实例生成高质量、语义合理的反事实样本？
• RQ2 在高维且非语义的数据空间中，如何有效优化反事实生成，以应对直接扰动不可行的问题？
• RQ3 通过在解耦的、属性条件化的潜在空间中操作，能否实现高效且可控的反事实生成？
• RQ4 在真实世界数据集上，所提出的AIP方法在质量、多样性和效率方面与现有反事实生成基线相比表现如何？
• RQ5 通过AIP生成的反事实样本能否在下游任务（如数据增强和模型鲁棒性提升）中有效应用？

主要发现

• AIP框架生成的反事实样本在语义质量和逼真度方面显著优于基线方法，经人工评估和自动化指标验证。
• 在图像和文本数据集上，该方法在数据增强中实现了更高的分类准确率和更低的方差，部分基准测试中测试准确率最高提升达2.5%。
• 该框架展现出卓越的效率，反事实生成速度比基于特征替换的基线方法快至10倍，尤其在缺乏干扰样本的场景中优势明显。
• 通过AIP生成的反事实样本在平均90%以上的案例中成功将模型预测翻转至目标标签，且与原始数据的分布偏差极小。
• 消融实验证实，属性感知潜在空间优化对于生成有效且有意义的反事实样本至关重要，其性能优于无条件的端到端潜在空间优化。
• 该框架支持实际应用，如模型优化和对抗鲁棒性增强，表明反事实样本不仅具有可解释性，还能在真实场景中提供可操作的洞察。

Figure 2 . General illustration of the attribute-informed latent space in generative models. Particularly, blue arrows indicate the forward flow of computations, while orange arrows indicate the back-propagation flow of gradients. The dash lines denote the losses for generative model training.