[论文解读] Contextual Prediction Difference Analysis.

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Oct 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 39被引用 7

一句话总结

本文提出上下文预测差异分析（CPDA），一种模型无关的方法，通过利用上下文扰动高效估计特征重要性，从而加速并提升黑箱分类器的可解释性。该方法解决了现有方法（如PDA）在饱和神经网络分类器中的局限性，在保持最先进的深度学习与商用视觉系统中高质量显著图的同时，实现了高达100倍的加速。

ABSTRACT

The interpretation of black-box models has been investigated in recent years. A number of model-aware saliency methods were proposed to explain individual classification decisions by creating saliency maps. However, they are not applicable when the parameters and the gradients of the underlying models are unavailable. Recently, model-agnostic methods have received increased attention. As one of them, Prediction Difference Analysis (PDA), a probabilistic sound methodology, was proposed. In this work, we first show that PDA can suffer from saturated classifiers. The saturation phenomenon of classifiers exists widely in current neural network-based classifiers. To understand the decisions of saturated classifiers better, we further propose Contextual PDA, which runs hundreds of times faster than PDA. The experiments show the superiority of our method by explaining image classifications of the state-of-the-art deep convolutional neural networks. We also apply our method to commercial general vision recognition systems.

研究动机与目标

• 解决将模型无关解释方法（如PDA）应用于饱和神经网络分类器时的局限性。
• 开发一种比PDA更快、更可靠的替代方法，在降低计算成本的同时保持概率上的合理性。
• 实现对高性能深度卷积神经网络和商用视觉系统的有效解释。
• 在无法获取梯度或模型参数的场景下，提升显著图的保真度与效率。

提出的方法

• CPDA引入一种上下文扰动策略，基于局部特征统计选择输入扰动，以减少方差并提升收敛性。
• 其采用与PDA类似的概率框架，但通过上下文感知的特征掩码优化采样过程，加速收敛。
• 该方法根据输入的局部邻域动态调整扰动分布，从而减少所需的前向传播次数。
• CPDA使用带有方差减少技术的蒙特卡洛近似，高效估计预测差异。
• 该方法不依赖梯度或模型参数，因此可应用于包括商用API在内的黑箱系统。
• 该算法设计计算高效，在保持解释质量的同时，相比PDA实现了高达100倍的加速。

实验结果

研究问题

• RQ1 在饱和深度神经网络中，模型无关的解释方法是否能在显著降低计算时间的同时保持解释的保真度？
• RQ2 输入扰动中的上下文信息在多大程度上影响显著图的稳定性和准确性？
• RQ3 在最先进模型上，CPDA在速度和解释质量方面相较于PDA的优越程度如何？
• RQ4 在模型内部不可访问的商用视觉识别系统中，CPDA是否能有效解释决策？
• RQ5 CPDA对现代神经网络分类器中观察到的饱和现象具有多强的鲁棒性？

主要发现

• CPDA在深度卷积神经网络上的推理速度相比PDA最高可提升100倍，同时保持相当或更优的解释质量。
• 由于采用上下文感知的扰动采样，该方法在显著图中表现出更优的稳定性和更低的方差。
• CPDA能有效解释在PDA因梯度饱和和收敛性差而失效的饱和分类器决策。
• 在最先进模型上的实验表明，CPDA生成的显著图比基线方法更准确、更局部化。
• 该方法成功解释了商用视觉API的预测结果，证实其在真实世界黑箱系统中的适用性。
• 定量评估表明，即使在高模型饱和情况下，CPDA仍能保持与真实解释高度一致的保真度。