[论文解读] Interpreting and Evaluating Neural Network Robustness

Fuxun Yu, Zhuwei Qin+4 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用 11

一句话总结

本文提出了一种新颖的、不变的鲁棒性度量方法，用于神经网络，通过测量在受限输入邻域内的最大预测分歧（使用KL散度）来量化内在鲁棒性。结合输入空间损失可视化与归一化技术，该方法提供了可靠、高效且与模型架构无关的鲁棒性评估，在不同攻击与防御设置下，其一致性与可靠性优于PGD准确率。

ABSTRACT

Recently, adversarial deception becomes one of the most considerable threats to deep neural networks. However, compared to extensive research in new designs of various adversarial attacks and defenses, the neural networks' intrinsic robustness property is still lack of thorough investigation. This work aims to qualitatively interpret the adversarial attack and defense mechanism through loss visualization, and establish a quantitative metric to evaluate the neural network model's intrinsic robustness. The proposed robustness metric identifies the upper bound of a model's prediction divergence in the given domain and thus indicates whether the model can maintain a stable prediction. With extensive experiments, our metric demonstrates several advantages over conventional adversarial testing accuracy based robustness estimation: (1) it provides a uniformed evaluation to models with different structures and parameter scales; (2) it over-performs conventional accuracy based robustness estimation and provides a more reliable evaluation that is invariant to different test settings; (3) it can be fast generated without considerable testing cost.

研究动机与目标

• 通过在输入空间中可视化决策边界，解释神经网络对抗脆弱性的根本原因。
• 解决基于PGD的对抗准确率不可靠且对攻击设置与防御方法敏感的局限性。
• 设计一种对模型重参数化、攻击类型、防御方法及模型规模均保持不变的鲁棒性度量。
• 提供一种快速、可扩展的评估方法，避免对抗测试带来的高计算成本。
• 建立一种独立于外部测试条件的可靠、内在的模型鲁棒性度量。

提出的方法

• 通过将损失可视化从参数空间重新定义为输入空间，可视化输入空间中的决策边界，揭示对抗扰动如何误导预测。
• 基于在有界扰动范围（例如，ℓ∞ < 0.3）内模型预测的最大KL散度，定义一种新的鲁棒性度量。
• 引入一种归一化技术，以在模型重参数化下稳定度量，确保在权重缩放下的不变性。
• 采用输入空间中ε-锐度概念的改进版本，分析损失曲面几何结构，并将其与对抗泛化能力相关联。
• 通过小批量采样优化度量计算，实现小批量大小（例如，1000）下的收敛，且偏差极低。
• 利用该度量根据经验阈值，将模型分级为鲁棒性等级（例如，易受攻击、尚可鲁棒、鲁棒）。

实验结果

研究问题

• RQ1 对抗样本为何存在？其潜在机制在输入空间中能否被可视化解释？
• RQ2 为何基于PGD的对抗测试准确率是内在模型鲁棒性的不可靠指标？
• RQ3 能否设计一种在模型重参数化及不同攻击/防御设置下保持不变的鲁棒性度量？
• RQ4 与传统的对抗准确率评估相比，该度量在可靠性和效率方面表现如何？
• RQ5 该度量能否用于建立在不同数据集与架构间一致、可扩展且可解释的鲁棒性分级系统？

主要发现

• 对抗样本源于邻域欠拟合，即模型在干净输入附近的局部区域无法实现平滑泛化。
• 所提出的鲁棒性度量（ψₙ）在模型重参数化（例如，权重缩放）下保持稳定，而未归一化的度量与ε-锐度则显著失真。
• 在MNIST上使用批量大小为1000或更少时，该度量的鲁棒性估计偏差小于10%；在CIFAR-10上偏差小于5%，表现出极高的计算效率。
• 在MNIST上ℓ∞ < 0.3条件下，该度量可实现鲁棒性分级：分数<100为易受攻击，100–270为尚可鲁棒，>270为鲁棒。
• 防御蒸馏可人为提高PGD准确率，但实际鲁棒性下降，而所提度量能正确反映模型的真实内在鲁棒性。
• 该度量在多种模型、数据集与攻击类型下，始终优于PGD准确率的鲁棒性估计，展现出更优的不变性与可靠性。