[论文解读] Laplacian Networks: Bounding Indicator Function Smoothness for Neural Network Robustness

Carlos Lassance, Vincent Gripon+1 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用 7

一句话总结

本文提出拉普拉斯网络（Laplacian Networks），一种新颖的正则化方法，通过惩罚基于中间层表示构建的相似性图的拉普拉斯值的大幅变化，强制在深度神经网络各层之间实现类别边界的平滑性。该方法提升了对对抗性攻击、各向同性噪声和实现错误的鲁棒性，优于基线方法，并能与现有技术（如Parseval正则化）有效结合。

ABSTRACT

For the past few years, Deep Neural Network (DNN) robustness has become a question of paramount importance. As a matter of fact, in sensitive settings misclassification can lead to dramatic consequences. Such misclassifications are likely to occur when facing adversarial attacks, hardware failures or limitations, and imperfect signal acquisition. To address this question, authors have proposed different approaches aiming at increasing the robustness of DNNs, such as adding regularizers or training using noisy examples. In this paper we propose a new regularizer built upon the Laplacian of similarity graphs obtained from the representation of training data at each layer of the DNN architecture. This regularizer penalizes large changes (across consecutive layers in the architecture) in the distance between examples of different classes, and as such enforces smooth variations of the class boundaries. Since it is agnostic to the type of deformations that are expected when predicting with the DNN, the proposed regularizer can be combined with existing ad-hoc methods. We provide theoretical justification for this regularizer and demonstrate its effectiveness to improve robustness of DNNs on classical supervised learning vision datasets.

研究动机与目标

• 为解决在安全关键应用中深度神经网络（DNN）鲁棒性日益增长的担忧，其中误分类可能导致严重后果。
• 开发一种通用正则化方法，以增强鲁棒性，且不假设特定类型的形变，与以往专注于噪声或对抗性攻击的方法不同。
• 通过约束类别指示信号在各网络层之间平滑度的变化速率，提升泛化能力和稳定性。
• 通过模块化集成，实现与现有鲁棒性技术（如Parseval正则化和对抗性训练）的兼容性。

提出的方法

• 使用训练样本的中间表示，在DNN的每一层构建相似性图。
• 在每一层的相似性图上，将类别指示函数定义为图信号，表示哪些样本属于哪些类别。
• 在每一层计算类别指示信号的拉普拉斯值，以衡量其平滑度，值越高表示类别边界距离的变化越快。
• 引入一种正则化项，惩罚连续层之间拉普拉斯值的大幅变化，从而强制类别边界平滑度的渐变过渡。
• 使用包含标准交叉熵损失和所提出的拉普拉斯平滑正则化项的联合损失来优化DNN。
• 该正则化项对输入形变类型不敏感，因此可广泛适用于各种鲁棒性场景。

实验结果

研究问题

• RQ1 在DNN各层之间强制类别边界演化的平滑性，是否能提升对各类扰动的鲁棒性？
• RQ2 在噪声和攻击下，所提出的拉普拉斯正则化方法与Parseval正则化或对抗性训练等现有方法相比，其鲁棒性如何？
• RQ3 所提出的正则化方法能否与其它鲁棒性技术有效结合，实现协同增益？
• RQ4 该方法在实现级扰动（如权重量化和神经元丢弃）下是否保持或提升性能？

主要发现

• 所提出的拉普拉斯正则化方法在不同信噪比下的高斯噪声下显著提升了测试准确率，优于原始模型和Parseval正则化模型。
• 在使用FGSM方法的对抗性攻击下，所提出方法与Parseval正则化结合后实现了最高的测试准确率，尤其在输入归一化后施加噪声时表现更优。
• 在使用DeepFool攻击的最坏情况对抗性场景下，所提出方法需要更大的L2像素距离才能使网络失效，表明其具有更优的鲁棒性。
• 在40%神经元丢弃条件下，所提出方法的测试准确率显著高于原始网络和Parseval正则化网络，表现出对实现故障的强韧性。
• 当权重被量化至5位（内存减少6倍）时，所提出方法的测试准确率仍高于所有基线模型，表明其对低精度推理具有鲁棒性。