[论文解读] Adversarial Noise Layer: Regularize Neural Network By Adding Noise

Zhonghui You, Jinmian Ye+3 more|arXiv (Cornell University)|May 21, 2018

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出对抗噪声层（Adversarial Noise Layer, ANL）及其高效变体类别对抗噪声层（Class Adversarial Noise Layer, CANL），通过在训练过程中向中间层激活注入基于梯度的对抗噪声来正则化卷积神经网络（CNNs）。该方法提升了模型的泛化能力和鲁棒性，在CIFAR-10、CIFAR-100和ImageNet上均取得了当前最优性能，使用ANL/CANL训练的模型在FGSM攻击下的鲁棒性与传统对抗训练相当。

ABSTRACT

In this paper, we introduce a novel regularization method called Adversarial Noise Layer (ANL) and its efficient version called Class Adversarial Noise Layer (CANL), which are able to significantly improve CNN's generalization ability by adding carefully crafted noise into the intermediate layer activations. ANL and CANL can be easily implemented and integrated with most of the mainstream CNN-based models. We compared the effects of the different types of noise and visually demonstrate that our proposed adversarial noise instruct CNN models to learn to extract cleaner feature maps, which further reduce the risk of over-fitting. We also conclude that models trained with ANL or CANL are more robust to the adversarial examples generated by FGSM than the traditional adversarial training approaches.

研究动机与目标

• 解决因参数过多和训练数据有限导致的深度CNN过拟合问题。
• 在不增加推理成本的前提下提升模型泛化能力。
• 增强模型对对抗样本的鲁棒性，尤其在FGSM攻击下。
• 开发一种轻量化、即插即用的正则化技术，兼容主流CNN架构。

提出的方法

• ANL利用当前批次的梯度生成对抗噪声，并通过超参数ε进行缩放，应用于中间层激活。
• CANL通过按类别缓存梯度提升效率，在保持强正则化效果的同时减少训练计算量。
• 噪声仅在训练阶段应用，推理阶段被移除，不引入任何推理开销。
• 该方法兼容多种CNN架构，可插入卷积层之后或输入层之后。
• 通过逐元素裁剪控制噪声幅度，防止数值不稳定。
• 该方法在概念上与逐层对抗训练（Layerwise Adversarial Training, LAT）相似，但区别在于使用当前批次梯度，并支持类别特定的梯度缓存。

实验结果

研究问题

• RQ1 在CNN的中间层激活中注入对抗噪声是否能提升泛化性能？
• RQ2 与标准训练相比，所提出方法是否能增强对FGSM对抗攻击的鲁棒性？
• RQ3 ANL/CANL在性能与效率上与Dropout和LAT等现有正则化技术相比如何？
• RQ4 ANL/CANL能否有效应用于ImageNet等大规模数据集？
• RQ5 ANL/CANL带来的性能提升是源于更好的特征学习，还是噪声诱导的正则化？

主要发现

• 在CIFAR-10上，ANL将Top-1准确率提升至94.3%，CANL达到94.1%，优于基线模型及其他正则化方法。
• 在CIFAR-100上，ANL达到75.4%的准确率，显著优于基线模型和LAT方法。
• 在ImageNet上，CANL正则化的AlexNet达到60.52%的Top-1准确率，较基线的56.35%提升4.17%。
• 在FGSM攻击下δ=8时，ANL(ε=0.05)保持61.0%的准确率，与对抗训练（AT）的53.9%相当。
• 使用ANL或CANL训练的模型在FGSM攻击下表现出强于标准训练的鲁棒性，ANL(ε=0.05)在δ=2时达到79.2%的准确率。
• CANL在训练时间显著减少的情况下实现了与ANL近乎相同的性能，证明了其高效性。