[论文解读] Enhancing Adversarial Training with Second-Order Statistics of Weights

Gaojie Jin, Xinping Yi+3 more|arXiv (Cornell University)|Mar 11, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种新型方法——二阶统计优化（S2O），通过将神经网络权重建模为随机变量并优化其二阶统计量（特别是权重相关矩阵），从而增强对抗训练。通过放松独立性假设并改进PAC-Bayesian框架，将S2O整合至现有对抗训练方法中，该方法在极低训练开销下显著提升了模型的鲁棒性与泛化能力，在多个基准测试中达到最先进性能。

ABSTRACT

Adversarial training has been shown to be one of the most effective approaches to improve the robustness of deep neural networks. It is formalized as a min-max optimization over model weights and adversarial perturbations, where the weights can be optimized through gradient descent methods like SGD. In this paper, we show that treating model weights as random variables allows for enhancing adversarial training through extbf{S}econd-Order extbf{S}tatistics extbf{O}ptimization (S$^2$O) with respect to the weights. By relaxing a common (but unrealistic) assumption of previous PAC-Bayesian frameworks that all weights are statistically independent, we derive an improved PAC-Bayesian adversarial generalization bound, which suggests that optimizing second-order statistics of weights can effectively tighten the bound. In addition to this theoretical insight, we conduct an extensive set of experiments, which show that S$^2$O not only improves the robustness and generalization of the trained neural networks when used in isolation, but also integrates easily in state-of-the-art adversarial training techniques like TRADES, AWP, MART, and AVMixup, leading to a measurable improvement of these techniques. The code is available at \url{https://github.com/Alexkael/S2O}.

研究动机与目标

• 解决对抗训练中忽视模型权重二阶统计量的不足。
• 通过将权重建模为具有依赖性、相关性的随机变量，提升对抗鲁棒性与泛化能力。
• 提出一种理论基础扎实且实证有效的权重相关矩阵优化方法。
• 实现所提方法与现有最先进对抗训练框架的无缝集成。
• 证明权重的二阶统计量可为泛化与鲁棒性带来有意义且可度量的提升。

提出的方法

• 更新PAC-Bayesian框架以纳入对抗鲁棒性，并放松权重独立性的假设，引入权重相关矩阵作为二阶统计量。
• 提出一种新颖的S2O训练方法，通过优化权重相关矩阵的谱范数、行列式或奇异值来收紧泛化界。
• 采用两种估计技术：基于采样的方法与拉普拉斯近似方法，以高效计算权重相关矩阵。
• 该方法设计为即插即用，可与现有对抗训练技术（如TRADES、AWP、MART和AVMixup）兼容。
• 理论分析表明，在更新后的PAC-Bayesian框架下，控制权重相关矩阵的范数可收紧对抗泛化界。
• 实验通过t-SNE可视化与PGD攻击验证了在潜在表示中，AT+S2O能实现更好的类别分离，表明鲁棒性提升。

实验结果

研究问题

• RQ1 模型权重的二阶统计量是否能提升深度神经网络的对抗鲁棒性与泛化能力？
• RQ2 在PAC-Bayesian框架中放松权重独立性假设，对对抗训练的泛化界有何影响？
• RQ3 能否在训练过程中高效估计并优化权重相关矩阵，而不会带来显著计算开销？
• RQ4 将S2O集成至现有最先进对抗训练方法中，是否能带来可测量的性能提升？
• RQ5 哪些特定的权重相关矩阵范数（如谱范数、行列式）最有利于提升鲁棒性？

主要发现

• S2O在独立使用时显著提升了鲁棒性与泛化能力，在CIFAR-10与Fashion-MNIST数据集上，于PGD-20攻击下优于标准对抗训练。
• 该方法进一步增强了TRADES、AWP、MART与AVMixup等最先进技术，在多个基准上实现了新的最先进鲁棒准确率。
• S2O仅带来微小的训练时间增加，计算效率高，适用于实际部署。
• t-SNE可视化结果表明，AT+S2O在对抗扰动下，其倒数第二层特征表示具有更好的类别分离，表明鲁棒性提升。
• 理论分析显示，优化权重相关矩阵可收紧PAC-Bayesian对抗泛化界，为实证性能提升提供了理论依据。
• 该方法在不同架构与数据集上均表现稳健，实现一致的性能提升，且无需修改网络结构。