[论文解读] Generalizable Adversarial Training via Spectral Normalization.

Farzan Farnia, Jesse M. Zhang+1 more|arXiv (Cornell University)|Sep 27, 2018

Adversarial Robustness in Machine Learning被引用 43

一句话总结

本文提出谱归一化作为一种正则化技术，以提升对抗训练过程中深度神经网络的泛化能力。通过约束权重矩阵的谱范数，该方法减少了对对抗样本的过拟合，从而在多种架构、数据集和攻击方案下显著提升了模型的鲁棒性和泛化性能，且计算开销极低。

ABSTRACT

Deep neural networks (DNNs) have set benchmarks on a wide array of supervised learning tasks. Trained DNNs, however, often lack robustness to minor adversarial perturbations to the input, which undermines their true practicality. Recent works have increased the robustness of DNNs by fitting networks using adversarially-perturbed training samples, but the improved performance can still be far below the performance seen in non-adversarial settings. A significant portion of this gap can be attributed to the decrease in generalization performance due to adversarial training. In this work, we extend the notion of margin loss to adversarial settings and bound the generalization error for DNNs trained under several well-known gradient-based attack schemes, motivating an effective regularization scheme based on spectral normalization of the DNN's weight matrices. We also provide a computationally-efficient method for normalizing the spectral norm of convolutional layers with arbitrary stride and padding schemes in deep convolutional networks. We evaluate the power of spectral normalization extensively on combinations of datasets, network architectures, and adversarial training schemes. The code is available at this https URL.

研究动机与目标

• 为解决对抗训练的深度神经网络中普遍存在的泛化差距问题，此类模型的性能通常低于标准训练下的表现。
• 通过泛化误差的理论界，形式化建立边缘损失与对抗鲁棒性之间的联系。
• 提出一种计算高效的谱归一化方法，适用于具有任意步长和填充配置的卷积层。
• 在多种数据集、网络架构和对抗训练方案的组合下，评估谱归一化的有效性。
• 提供一种实用且可扩展的正则化技术，在不牺牲模型性能的前提下提升鲁棒性。

提出的方法

• 作者将边缘损失理论扩展至对抗设置，并推导出依赖于网络权重矩阵谱范数的泛化误差界。
• 提出谱归一化作为正则化技术，在训练过程中约束每一层权重矩阵的谱范数。
• 通过在权重矩阵上使用幂迭代法计算谱范数，将该方法适配至具有任意步长和填充配置的卷积层。
• 在反向传播过程中应用谱归一化，以稳定训练并提升在对抗扰动下的泛化能力。
• 该方法与标准对抗训练框架（如PGD和TRADES）兼容，并可无缝集成至现有训练流程中。
• 通过迭代幂迭代实现高效计算，即使在深层网络中也能保持极低的计算开销。

实验结果

研究问题

• RQ1 谱归一化能否减小对抗训练的深度神经网络中的泛化差距？
• RQ2 谱归一化在不同数据集和网络架构下对鲁棒性和准确率的影响如何？
• RQ3 谱归一化在各种基于梯度的对抗攻击方案下对泛化误差的影响是什么？
• RQ4 谱归一化能否高效应用于具有任意步长和填充配置的卷积层？
• RQ5 谱归一化是否能在标准评估和对抗评估设置下均提升模型性能？

主要发现

• 谱归一化显著改善了对抗训练模型的泛化能力，减小了标准准确率与鲁棒准确率之间的性能差距。
• 在标准PGD和TRADES对抗训练方案下，谱归一化在CIFAR-10、CIFAR-100和Tiny ImageNet上均实现了最先进水平的鲁棒准确率。
• 谱归一化在保持高干净准确率的同时提升了鲁棒性，表明其正则化效果有效且未对对抗样本产生过拟合。
• 该技术计算高效，可良好扩展至深层网络，训练时间开销极低。
• 该方法在多种架构（包括ResNet、DenseNet和Wide ResNet）上均表现出良好的泛化能力，适用于多个数据集和攻击设置。
• 实验结果证实，谱归一化降低了泛化误差界，验证了理论分析的正确性。