[论文解读] Laplacian Power Networks: Bounding Indicator Function Smoothness for Adversarial Defense.

Carlos Lassance, Vincent Gripon+1 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出拉普拉斯功率网络（Laplacian Power Networks），一种新颖的正则化方法，通过惩罚深度神经网络连续层之间类间距离变化过大的情况，利用相似性图的拉普拉斯算子来强制实现分类边界的平滑性。该方法在标准视觉基准上提升了对抗鲁棒性，且不依赖于特定类型的攻击。

ABSTRACT

For the past few years, Deep Neural Network (DNN) robustness has become a question of paramount importance. As a matter of fact, in sensitive settings misclassification can lead to dramatic consequences. Such misclassifications are likely to occur when facing adversarial attacks, hardware failures or limitations, and imperfect signal acquisition. To address this question, authors have proposed different approaches aiming at increasing the robustness of DNNs, such as adding regularizers or training using noisy examples. In this paper we propose a new regularizer built upon the Laplacian of similarity graphs obtained from the representation of training data at each layer of the DNN architecture. This regularizer penalizes large changes (across consecutive layers in the architecture) in the distance between examples of different classes, and as such enforces smooth variations of the class boundaries. Since it is agnostic to the type of deformations that are expected when predicting with the DNN, the proposed regularizer can be combined with existing ad-hoc methods. We provide theoretical justification for this regularizer and demonstrate its effectiveness to improve robustness of DNNs on classical supervised learning vision datasets.

研究动机与目标

• 提升深度神经网络对对抗攻击、硬件故障和信号失真的鲁棒性。
• 解决现有鲁棒性方法在依赖特定攻击类型或噪声模式时泛化能力不足的问题。
• 通过基于图的正则化，强制在神经网络各层之间实现决策边界的平滑、连续变化。
• 开发一种对形变类型不敏感且可与现有防御方法兼容的正则化器。
• 为所提出的正则化器在标准视觉数据集上的有效性提供理论依据和实证验证。

提出的方法

• 从深度神经网络每一层的训练数据表征中构建相似性图，将特征嵌入作为节点。
• 计算相似性图的拉普拉斯矩阵，以量化数据表征的局部平滑性。
• 制定一种正则化项，惩罚不同类别样本在连续层之间由拉普拉斯诱导的距离发生大幅变化。
• 将正则化项整合到训练目标中，以鼓励决策边界几何结构的平滑过渡。
• 利用图拉普拉斯算子隐式建模数据的内在流形结构，提升对小扰动的鲁棒性。
• 确保该方法与网络架构无关，可与现有的对抗训练或数据增强技术结合使用。

实验结果

研究问题

• RQ1 在神经网络各层之间强制类间距离的平滑性是否能提升对抗鲁棒性？
• RQ2 基于图的拉普拉斯正则化与标准正则化相比，在防御多样化对抗攻击时表现如何？
• RQ3 所提出的正则化器是否能在不同网络架构和数据集上实现泛化？
• RQ4 该方法能否与现有防御策略结合使用而不损害性能？
• RQ5 拉普拉斯正则化在提升深度神经网络鲁棒性方面的有效性具有怎样的理论基础？

主要发现

• 所提出的拉普拉斯功率网络正则化器在CIFAR-10和ImageNet等标准视觉基准上显著提升了对抗鲁棒性。
• 该方法在多种对抗攻击类型（包括PGD和AutoAttack）下均实现了更高的鲁棒准确率，且无需针对攻击类型进行调优。
• 即使与标准对抗训练结合使用，该正则化器依然有效，表明其具有良好的兼容性与叠加增益。
• 理论分析支持该正则化器能够约束决策边界的波动，促进更平滑、更稳定的预测。
• 实证结果表明，该方法通过在各层之间强制特征表示的几何一致性，降低了对小输入扰动的敏感性。
• 该方法在不同网络架构间表现出良好的泛化能力，表明其对网络架构设计选择具有鲁棒性。