[论文解读] How explainable are adversarially-robust CNNs?

Mehdi Nourelahi, Lars Kotthoff+2 more|arXiv (Cornell University)|May 25, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本研究对12个在ImageNet上训练的卷积神经网络（CNN）在五种架构和三种训练方法下，首次开展了大规模评估，系统考察了测试准确率、分布外（OOD）鲁棒性与可解释性之间的相互作用。研究发现，对抗性鲁棒CNN在基于梯度的归因方法（如GradCAM）下显著更具可解释性，而尽管准确率极高，AdvProp模型在可解释性方面并未优于鲁棒模型；此外，GradCAM与RISE在所有指标和模型中均表现最佳，始终位列前茅。

ABSTRACT

Three important criteria of existing convolutional neural networks (CNNs) are (1) test-set accuracy; (2) out-of-distribution accuracy; and (3) explainability. While these criteria have been studied independently, their relationship is unknown. For example, do CNNs that have a stronger out-of-distribution performance have also stronger explainability? Furthermore, most prior feature-importance studies only evaluate methods on 2-3 common vanilla ImageNet-trained CNNs, leaving it unknown how these methods generalize to CNNs of other architectures and training algorithms. Here, we perform the first, large-scale evaluation of the relations of the three criteria using 9 feature-importance methods and 12 ImageNet-trained CNNs that are of 3 training algorithms and 5 CNN architectures. We find several important insights and recommendations for ML practitioners. First, adversarially robust CNNs have a higher explainability score on gradient-based attribution methods (but not CAM-based or perturbation-based methods). Second, AdvProp models, despite being highly accurate more than both vanilla and robust models alone, are not superior in explainability. Third, among 9 feature attribution methods tested, GradCAM and RISE are consistently the best methods. Fourth, Insertion and Deletion are biased towards vanilla and robust models respectively, due to their strong correlation with the confidence score distributions of a CNN. Fifth, we did not find a single CNN to be the best in all three criteria, which interestingly suggests that CNNs are harder to interpret as they become more accurate.

研究动机与目标

• 探究CNN中测试集准确率、分布外（OOD）准确率与可解释性之间的关系。
• 评估九种前沿特征归因方法在多样化CNN架构与训练算法中的泛化能力。
• 评估对抗性鲁棒模型是否比标准（原始）模型更具可解释性，以及AdvProp训练的模型是否能提升可解释性。
• 识别常见评估指标（如Insertion与Deletion）中的偏差，特别是其与模型置信度分数的相关性。
• 为实践者提供选择鲁棒、准确且可解释的CNN及归因方法的实用建议。

提出的方法

• 在12个ImageNet训练的CNN上评估九种特征归因方法——GradCAM、RISE、GradCAM++、SmoothGrad、Integrated Gradients、CAM、Grad-CAM、SmoothGrad与Integrated Gradients。
• 采用五种CNN架构（ResNet、DenseNet、EfficientNet、MobileNet、Wide ResNet）和三种训练算法：原始训练、对抗性鲁棒训练（PGD-1）以及AdvProp训练（PGD-1结合数据混合）。
• 应用四种评估指标：指向游戏（PG）、弱监督定位（WSL）、Insertion与Deletion，以评估归因图质量。
• 针对每种归因方法在每种模型上通过粗粒度网格搜索进行超参数调优，以确保公平比较。
• 分析归因分数与模型置信度分布之间的相关性，尤其关注基于分数的指标（Insertion/Deletion）。
• 通过统计分析比较不同模型的可解释性表现，并在不同架构与训练方法间可视化结果。

实验结果

研究问题

• RQ1 在不同归因方法下，对抗性鲁棒CNN是否表现出高于原始模型的可解释性？
• RQ2 尽管测试准确率与OOD准确率更优，AdvProp训练的模型在可解释性方面与原始模型和鲁棒模型相比如何？
• RQ3 哪种特征归因方法在多样化架构与训练方法中均表现最稳定可靠？
• RQ4 Insertion与Deletion指标在多大程度上因与模型置信度分数的相关性而对特定模型类型产生偏差？
• RQ5 是否存在一种单一CNN架构或模型，在测试准确率、OOD准确率与可解释性三项指标上均表现最佳？

主要发现

• 在基于梯度的归因方法（尤其是GradCAM与RISE）评估下，对抗性鲁棒CNN的可解释性得分显著高于原始模型。
• 尽管AdvProp模型在测试集与OOD准确率上表现优异，但在所有四项评估指标中，其可解释性均未优于对抗性鲁棒模型。
• GradCAM与RISE在全部12个模型与全部四项评估指标中始终位列前三，表明其为最可靠的选择。
• Insertion与Deletion指标存在显著偏差：Insertion因原始模型置信度更高而更偏好原始模型；Deletion则因鲁棒模型预测更保守而更偏好鲁棒模型。
• 无单一CNN模型能在测试准确率、OOD准确率与可解释性三项指标上均表现最佳，表明性能与可解释性之间存在根本性权衡。
• ResNet-50在所有指标上的平均表现最佳，尽管DenseNet-161的测试集准确率最高，表明更高准确率并不意味着更好可解释性。