[论文解读] Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models

Dong Wang, Yuewei Yang+6 more|arXiv (Cornell University)|Dec 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 68被引用 8

一句话总结

本文提出主动伪干预（Proactive Pseudo-Intervention, PPI），一种对比学习框架，通过在非因果图像特征上模拟因果干预，提升模型的可解释性与鲁棒性。通过利用基于权重反向传播（Weight Back Propagation, WBP）的因果感知显著性图，PPI在分布外数据上实现更好的泛化性能，减少对虚假相关性的依赖，在医学图像与自然图像基准测试中达到最先进性能，且生成更具意义、聚焦解剖结构的解释。

ABSTRACT

Deep neural networks excel at comprehending complex visual signals, delivering on par or even superior performance to that of human experts. However, ad-hoc visual explanations of model decisions often reveal an alarming level of reliance on exploiting non-causal visual cues that strongly correlate with the target label in training data. As such, deep neural nets suffer compromised generalization to novel inputs collected from different sources, and the reverse engineering of their decision rules offers limited interpretability. To overcome these limitations, we present a novel contrastive learning strategy called {\it Proactive Pseudo-Intervention} (PPI) that leverages proactive interventions to guard against image features with no causal relevance. We also devise a novel causally informed salience mapping module to identify key image pixels to intervene, and show it greatly facilitates model interpretability. To demonstrate the utility of our proposals, we benchmark on both standard natural images and challenging medical image datasets. PPI-enhanced models consistently deliver superior performance relative to competing solutions, especially on out-of-domain predictions and data integration from heterogeneous sources. Further, our causally trained saliency maps are more succinct and meaningful relative to their non-causal counterparts.

研究动机与目标

• 解决深度学习模型在视觉数据中过度依赖非因果、虚假相关性的问题，此类问题会损害泛化能力与可解释性。
• 开发一种无需实际实验干预即可实现稳健、因果感知模型决策的方法。
• 将显著性映射与对比学习相结合，生成更具可解释性与鲁棒性的视觉模型。
• 提升在异构数据源与小样本场景下的性能，特别是在医学影像领域。
• 构建一种基于因果理论、与模型架构无关的显著性映射方法，仅突出显示因果相关的特征。

提出的方法

• PPI采用对比学习目标，通过主动干预非因果图像特征生成负样本，模拟干预过程而无需真实世界实验。
• 基于权重反向传播（WBP）构建因果感知显著性映射模块，以识别并优先关注数据真实因果结构相关的特征。
• 通过对比原始输入与移除因果无关性的伪干预版本，使模型对非因果扰动保持不变，实现不变性学习。
• PPI端到端应用于标准卷积神经网络（如Inception_v3），并可与多种显著性方法（包括GradCAM、LRP和WBP）集成。
• 该方法与模型架构无关，适用于任意具有可微层的模型，可在各类视觉任务中广泛适用。
• 利用观测数据合成伪干预，避免对控制实验的依赖，同时仍能近似实现因果推理。

实验结果

研究问题

• RQ1 我们能否通过减少视觉输入中对虚假相关性的依赖，提升模型在分布外数据上的泛化能力？
• RQ2 我们能否通过仅聚焦因果相关特征，生成更具可解释性与意义的显著性图？
• RQ3 基于观测数据生成的伪干预能否有效模拟深度学习模型中的因果不变性？
• RQ4 将因果感知显著性与对比学习结合，是否能在低数据或异构数据设置下带来性能提升？
• RQ5 一种统一的、与架构无关的因果感知显著性映射方法，能否同时提升可解释性与鲁棒性？

主要发现

• 在GA数据集上，PPI将域内与跨域预测之间的性能差距缩小，使平均AUC从无PPI时的0.834提升至使用PPI后的0.888。
• 在LIDC-IDRI数据集上，PPI结合WBP(box)将Inception_v3的AUC从0.921提升至0.941，优于其他SOTA模型。
• PPI+WBP生成的显著性图在弱监督分割任务中与专家标注的病灶掩码具有高度一致性，即使在无像素级监督条件下亦然。
• PPI增强的模型在来自异构数据源的数据上表现出更优的鲁棒性，尤其显著降低了跨站点预测的性能退化。
• 因果感知的WBP显著性图聚焦于解剖结构（如鸟类身体部位、肺部病灶），而非虚假背景，从而增强可解释性。
• 在小样本量与强虚假相关性场景下（如医学影像），PPI实现了最显著的性能提升。