[论文解读] Manifold Regularized Deep Neural Networks using Adversarial Examples

Taehoon Lee, Minsuk Choi+1 more|arXiv (Cornell University)|Nov 19, 2015

Adversarial Robustness in Machine Learning参考文献 25被引用 12

一句话总结

本文提出流形正则化网络（MRnet），一种深度学习框架，通过在多个网络层上最小化原始样本与对抗样本之间的激活差异，增强对对抗样本的鲁棒性。通过引入保持邻域关系的流形损失，MRnet提升了特征泛化能力，在MNIST、CIFAR-10和SVHN上实现了SOTA性能，兼具高准确率与更优的特征表示聚类对比度。

ABSTRACT

Learning meaningful representations using deep neural networks involves designing efficient training schemes and well-structured networks. Currently, the method of stochastic gradient descent that has a momentum with dropout is one of the most popular training protocols. Based on that, more advanced methods (i.e., Maxout and Batch Normalization) have been proposed in recent years, but most still suffer from performance degradation caused by small perturbations, also known as adversarial examples. To address this issue, we propose manifold regularized networks (MRnet) that utilize a novel training objective function that minimizes the difference between multi-layer embedding results of samples and those adversarial. Our experimental results demonstrated that MRnet is more resilient to adversarial examples and helps us to generalize representations on manifolds. Furthermore, combining MRnet and dropout allowed us to achieve competitive classification performances for three well-known benchmarks: MNIST, CIFAR-10, and SVHN.

研究动机与目标

• 解决深度神经网络对微小、难以察觉的对抗扰动的脆弱性，此类扰动会降低模型性能。
• 通过在高维表示中保持局部邻域结构，统一深度学习与流形学习。
• 开发一种训练目标，使深度网络对对抗样本具有不变性，同时保持或提升分类准确率。
• 通过强制原始样本与对抗样本嵌入表示在深层中保持相似性，提升学习特征的泛化性与解耦性。
• 证明通过对抗样本实现的流形正则化可生成更鲁棒且有意义的低维表示。

提出的方法

• 提出一种流形损失项Φ，通过最小化原始样本与对抗样本在最后一层隐藏层激活值的L2范数差异来实现，即||a^(L) - a'^(L)||₂。
• 仅在预训练普通网络后应用流形损失Φ，以避免对抗扰动导致的早期训练不稳定性。
• 将流形损失集成到标准的带动量随机梯度下降中，确保与现有深度学习优化流程的兼容性。
• 使用通过快速梯度符号法（FGSM）生成的对抗样本来作为正则化网络嵌入空间的扰动样本。
• 将MRnet与Dropout结合，进一步提升泛化能力，并在基准数据集上实现具有竞争力的性能。
• 采用t-SNE可视化与聚类指标（轮廓系数、邓恩指数）评估学习到的流形表示的质量。

实验结果

研究问题

• RQ1 使用对抗样本正则化深度网络是否能提升对微小输入扰动的鲁棒性？
• RQ2 强制原始样本与对抗样本嵌入表示相似，是否能提升深度神经网络的泛化能力？
• RQ3 通过对抗样本实现的流形正则化能否增强学习特征的聚类结构与解耦性？
• RQ4 所提出的流形损失与标准对抗训练相比，在表示质量与分类准确率方面表现如何？
• RQ5 与普通网络相比，MRnet在多大程度上改善了特征流形的几何结构？

主要发现

• MRnet在SVHN上的测试准确率达到97.521±0.052，优于标准训练协议，展现出强大的泛化能力。
• 应用流形损失后，流形聚类的邓恩指数提升了31.45%，表明类内与类间聚类的分离性显著增强。
• 最后一层隐藏层中，原始样本与对抗样本激活值之间的平均L2距离降低至3.57，表明嵌入被投影到极为接近的区域。
• t-SNE可视化显示，MRnet将相似类别（如汽车）聚集成紧凑且连贯的簇，而普通网络则呈现散乱分布。
• 应用流形损失后，错误最近邻数量减少（如鸟类图像不再靠近狗或鹿），证实了局部结构保持能力的提升。
• 将MRnet与Dropout结合后，在MNIST、CIFAR-10和SVHN上均实现了具有竞争力的分类性能，验证了该方法的鲁棒性与可扩展性。