[论文解读] ECINN: Efficient Counterfactuals from Invertible Neural Networks

Frederik Hvilshøj, Alexandros Iosifidis+1 more|arXiv (Cornell University)|Mar 25, 2021

Explainable Artificial Intelligence (XAI)参考文献 40被引用 10

一句话总结

ECINN 是一种新颖的方法，通过在可逆神经网络（INN）中仅进行一次前向和一次反向传播，即可生成反事实图像，从而以闭式修正潜在表征的方式实现高效、真实且最小扰动的生成。该方法在生成一致、高质量的热力图以解释模型方面优于现有方法，尤其在 INN 上表现更优，因为基于梯度的方法会产生噪声结果。

ABSTRACT

Counterfactual examples identify how inputs can be altered to change the predicted class of a classifier, thus opening up the black-box nature of, e.g., deep neural networks. We propose a method, ECINN, that utilizes the generative capacities of invertible neural networks for image classification to generate counterfactual examples efficiently. In contrast to competing methods that sometimes need a thousand evaluations or more of the classifier, ECINN has a closed-form expression and generates a counterfactual in the time of only two evaluations. Arguably, the main challenge of generating counterfactual examples is to alter only input features that affect the predicted outcome, i.e., class-dependent features. Our experiments demonstrate how ECINN alters class-dependent image regions to change the perceptual and predicted class of the counterfactuals. Additionally, we extend ECINN to also produce heatmaps (ECINNh) for easy inspection of, e.g., pairwise class-dependent changes in the generated counterfactual examples. Experimentally, we find that ECINNh outperforms established methods that generate heatmap-based explanations.

研究动机与目标

• 为解决现有反事实生成方法效率低下、需数百甚至数千次模型查询的问题。
• 实现在图像分类中高效生成真实、最小且可操作的反事实样本，仅改变与类别相关的特征。
• 开发一种方法，为可逆神经网络（INN）生成高质量、可解释的热力图，克服基于梯度的解释方法产生的噪声问题。
• 证明 INN 的语义组织良好的潜在空间可实现反事实表征的闭式修正，从而实现单次推理。

提出的方法

• ECINN 使用预训练的可逆神经网络（INN）将输入图像映射到潜在空间，其中类别相关特征以语义方式组织。
• 它将反事实修正形式化为潜在空间中的闭式优化，确保仅对与类别相关的特征进行最小且有意义的修改。
• 在将潜在表征修正以使模型预测变为目标类别后，ECINN 使用反向 INN 从修正后的潜在向量重建反事实图像。
• 该方法扩展为 ECINNh，通过分析原始图像与反事实图像之间的差异来计算热力图，从而提供关于类别相关特征变化的可视化洞察。
• ECINN 仅需两次分类器评估：一次前向传播和一次反向传播，显著优于需要迭代的其他方法。
• 该方法利用 INN 的可逆性与解耦表征，确保生成的反事实样本真实、可靠且多样化。

实验结果

研究问题

• RQ1 是否能仅通过两次模型评估而非成千上万次查询，高效生成反事实样本？
• RQ2 可逆神经网络是否能实现潜在表征的闭式修正，从而生成真实且最小的反事实样本？
• RQ3 由 ECINN 生成的热力图是否比基于梯度的方法在 INN 上产生更连贯、更忠实的解释？
• RQ4 为何基于梯度的解释方法在 INN 上会产生噪声热力图？ECINNh 是否能缓解此问题？
• RQ5 ECINN 是否能有效仅改变类别相关特征（如面部表情、化妆），同时保持类别无关特征（如背景、发色）不变？

主要发现

• ECINN 仅通过两次模型评估即可生成反事实样本——远快于需数百或数千次查询的迭代方法。
• 该方法成功仅改变面部表情、化妆和面部结构等类别相关特征，同时保持背景、发色和整体图像布局不变。
• ECINNh 生成的热力图比 Integrated Gradients、DeepLift、DeepLiftSHAP 和 GradSHAP 更连贯、更有意义，尤其在 INN 上表现更优，因为基于梯度的方法会产生噪声结果。
• 本研究假设 INN 层中缺乏 ReLU 激活函数是导致基于梯度解释产生噪声的原因，而 ECINNh 通过利用输入与反事实之间结构差异避免了此问题。
• ECINNh 揭示了模型行为，如整体化妆检测（不仅限于嘴唇），证实了在化妆标签上训练的模型使用的是面部上下文而非孤立特征。
• ECINNh 生成的热力图与人类感知高度一致，例如在微笑时强调嘴唇和眼睛，且对于唇膏与浓妆等相关标签，热力图几乎完全一致，表明对模型行为的解释是可靠的。