[论文解读] Concise Explanations of Neural Networks using Adversarial Training

Prasad Chalasani, Jiefeng Chen+3 more|arXiv (Cornell University)|Oct 15, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用 11

一句话总结

本文表明，使用 ℓ∞-有界扰动进行对抗性训练可使深度神经网络中的特征归因更加稀疏、简洁，从而在不损失准确率的前提下提升模型的可解释性。理论分析与实证结果均显示，ℓ∞-对抗性训练能自然地促进积分梯度（Integrated Gradients）与DeepSHAP归因的稀疏性，优于ℓ1-正则化，同时还能增强归因的稳定性。

ABSTRACT

We show new connections between adversarial learning and explainability for deep neural networks (DNNs). One form of explanation of the output of a neural network model in terms of its input features, is a vector of feature-attributions. Two desirable characteristics of an attribution-based explanation are: (1) $ extit{sparseness}$: the attributions of irrelevant or weakly relevant features should be negligible, thus resulting in $ extit{concise}$ explanations in terms of the significant features, and (2) $ extit{stability}$: it should not vary significantly within a small local neighborhood of the input. Our first contribution is a theoretical exploration of how these two properties (when using attributions based on Integrated Gradients, or IG) are related to adversarial training, for a class of 1-layer networks (which includes logistic regression models for binary and multi-class classification); for these networks we show that (a) adversarial training using an $\ell_\infty$-bounded adversary produces models with sparse attribution vectors, and (b) natural model-training while encouraging stable explanations (via an extra term in the loss function), is equivalent to adversarial training. Our second contribution is an empirical verification of phenomenon (a), which we show, somewhat surprisingly, occurs $ extit{not only}$ $ extit{in 1-layer networks}$, $ extit{but also DNNs}$ $ extit{trained on }$ $ extit{standard image datasets}$, and extends beyond IG-based attributions, to those based on DeepSHAP: adversarial training with $\ell_\infty$-bounded perturbations yields significantly sparser attribution vectors, with little degradation in performance on natural test data, compared to natural training. Moreover, the sparseness of the attribution vectors is significantly better than that achievable via $\ell_1$-regularized natural training.

研究动机与目标

• 解决深度神经网络中缺乏简洁且稳定的解释问题，该问题在高风险应用场景中阻碍了信任与可解释性。
• 探究对抗性训练（传统上用于提升鲁棒性）是否也能改善如积分梯度与DeepSHAP等特征归因方法的稀疏性与稳定性。
• 探索对抗性鲁棒性与可解释性之间的理论与实证联系，特别是从特征归因稀疏性的角度。
• 证明对抗性训练可使模型更符合人类理解，仅聚焦于最相关的输入特征，从而实现更人性化的可解释模型。
• 对比对抗性训练与ℓ1-正则化在实现稀疏归因方面的有效性，同时保持测试准确率。

提出的方法

• 针对具有凸损失函数的单层神经网络（包括逻辑回归）在 ℓ∞-有界对抗性训练下的理论分析，推导出权重衰减的条件。
• 采用积分梯度（IG）与DeepSHAP作为归因方法，计算模型输入的特征重要性向量。
• 将对抗性训练形式化为鲁棒优化问题，其中每个训练样本均被其在 ℓ∞-球内半径为 ε 的最坏情况 δ 扰动，以最大化损失。
• 在损失函数中引入一个稳定性正则化项，其数学上等价于对抗性训练，从而将解释稳定性与对抗性鲁棒性联系起来。
• 在MNIST、Fashion-MNIST与CIFAR-10数据集上，对三种模型类型（自然训练、ℓ1-正则化、ℓ∞-对抗性训练）进行实证评估，使用基尼指数与可视化显著性图衡量归因稀疏性。
• 通过基尼指数与自然测试数据上的预测置信度等指标，比较不同模型在归因稀疏性与模型准确率方面的表现。

实验结果

研究问题

• RQ1 与自然训练相比，ℓ∞-对抗性训练是否在深度神经网络中产生更稀疏的特征归因向量？
• RQ2 对抗性训练能否改善输入局部邻域内特征归因的稳定性？
• RQ3 ℓ∞-对抗性训练所诱导的稀疏性是否优于自然训练中通过ℓ1-正则化实现的稀疏性？
• RQ4 对抗性训练在不降低模型性能的前提下，能在多大程度上提升解释的简洁性？
• RQ5 在标准视觉基准数据集上，单层网络中对抗性训练与特征归因稀疏性之间的理论联系是否可推广至更深的DNN？

主要发现

• ℓ∞-对抗性训练在MNIST、Fashion-MNIST与CIFAR-10数据集上显著提高了积分梯度与DeepSHAP归因向量的稀疏性。
• 对抗性训练模型的基尼指数（稀疏性度量）高于自然训练与ℓ1-正则化模型，例如对抗性MNIST的基尼指数为0.9728，而自然训练为0.9271。
• 与积分梯度相比，对抗性训练在MNIST与Fashion-MNIST上对DeepSHAP的稀疏性提升更为显著，且在视觉与定量层面均更明显。
• 对抗性训练在自然数据上保持了较高的测试准确率，与自然训练相比性能下降可忽略，表明鲁棒性与准确率之间不存在权衡。
• 理论分析证实，ℓ∞-对抗性训练比自然训练更激进地压缩弱特征的权重，从而导致更稀疏的归因结果。
• 对抗性训练内在地提升了归因的稳定性，因其隐式地对输入附近的局部行为进行正则化，降低了对微小扰动的敏感性。