[论文解读] Exploring the Vulnerability of Deep Neural Networks: A Study of Parameter Corruption

Xu Sun, Zhiyuan Zhang+3 more|arXiv (Cornell University)|Jun 10, 2020

Adversarial Robustness in Machine Learning参考文献 43被引用 7

一句话总结

本文提出一种基于梯度的方法，通过估计在小规模参数扰动下最坏情况的损失变化，衡量深度神经网络参数的鲁棒性，揭示了尽管模型对随机扰动具有韧性，但对有针对性的扰动仍高度脆弱。该方法实现了对抗性扰动抵抗训练，提升了ResNet-34和Transformer等架构下的参数鲁棒性与模型准确率。

ABSTRACT

We argue that the vulnerability of model parameters is of crucial value to the study of model robustness and generalization but little research has been devoted to understanding this matter. In this work, we propose an indicator to measure the robustness of neural network parameters by exploiting their vulnerability via parameter corruption. The proposed indicator describes the maximum loss variation in the non-trivial worst-case scenario under parameter corruption. For practical purposes, we give a gradient-based estimation, which is far more effective than random corruption trials that can hardly induce the worst accuracy degradation. Equipped with theoretical support and empirical validation, we are able to systematically investigate the robustness of different model parameters and reveal vulnerability of deep neural networks that has been rarely paid attention to before. Moreover, we can enhance the models accordingly with the proposed adversarial corruption-resistant training, which not only improves the parameter robustness but also translates into accuracy elevation.

研究动机与目标

• 解决深度神经网络参数对扰动的未充分探索的脆弱性问题，该问题影响模型的鲁棒性与泛化能力。
• 开发一种高效、基于梯度的估计器，用于估计在参数扰动下最坏情况的损失变化，克服随机扰动试验的局限性。
• 系统性地分析不同层和组件（尤其是归一化层）在深层网络中的参数鲁棒性。
• 提出一种新颖的对抗性扰动抵抗训练方法，以增强模型鲁棒性与准确率。

提出的方法

• 提出一种鲁棒性指标，用于衡量在小规模、有针对性的参数扰动（即扰动）下最大损失变化，定义为非平凡邻域内的最坏情况损失变化。
• 引入一种基于梯度的估计技术，以高效定位最坏情况的扰动方向，避免计算上不可行的随机搜索。
• 将该方法应用于ResNet-34和Transformer中各层的脆弱性分析，使用L∞和L2范数衡量扰动幅度。
• 发现ResNet-34的低层更具鲁棒性，而Transformer解码器和批归一化层则更为脆弱。
• 通过在优化过程中注入虚拟参数扰动，设计对抗性扰动抵抗训练，以避免损失曲面中的陡峭方向。
• 采用理论与实证验证，确认经扰动抵抗训练的参数具有更好的泛化能力，并提升准确率。

实验结果

研究问题

• RQ1 深度神经网络参数对有针对性的扰动有多脆弱？这种脆弱性在不同层和组件之间如何变化？
• RQ2 基于梯度的估计方法是否优于随机扰动试验，以识别最坏情况的参数扰动？
• RQ3 为何归一化层（如批归一化）相比其他组件表现出更高的脆弱性？
• RQ4 通过注入虚拟参数扰动进行训练，是否能同时提升鲁棒性与泛化性能？
• RQ5 损失曲面的哪些结构与几何特性与参数鲁棒性相关？

主要发现

• ResNet-34中的批归一化层对参数扰动的脆弱性显著高于相邻的卷积层，在L∞-范数扰动ε=5时，准确率下降超过60%。
• ResNet-34的低层表现出更高的鲁棒性，在ε=20扰动下仍保持90%以上的准确率，而Transformer的高层则表现出更强的敏感性。
• 基于梯度的扰动方法比随机试验更有效地识别出最坏情况的性能退化，揭示了随机采样所遗漏的损失曲面中的陡峭方向。
• 对抗性扰动抵抗训练使ResNet-34在ImageNet上的Top-1准确率最高提升1.2%，CIFAR-10上提升0.8%，同时增强了参数鲁棒性。
• 经过虚拟扰动训练的模型表现出更好的泛化能力，表现为对参数扰动的敏感性更低，且局部损失曲面更平坦。
• 最坏情况损失变化指标成功捕捉了非平凡的鲁棒性权衡，表明更低的损失并不意味着更高的鲁棒性——损失曲面上点B的参数比点A更脆弱。