[論文レビュー] S2O: Enhancing Adversarial Training with Second-Order Statistics of Weights

Gaojie Jin, Xinping Yi+3 more|arXiv (Cornell University)|Mar 1, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

S2Oは重みの二次統計をPAC-Bayesian境界の下で最適化し、Laplace近似を用いて重み相関を推定することで、単独でも他の対抗的訓練法と組み合わせても、対敵ロバスト性と一般化を改善します。

ABSTRACT

Adversarial training has emerged as a highly effective way to improve the robustness of deep neural networks (DNNs). It is typically conceptualized as a min-max optimization problem over model weights and adversarial perturbations, where the weights are optimized using gradient descent methods, such as SGD. In this paper, we propose a novel approach by treating model weights as random variables, which paves the way for enhancing adversarial training through extbf{S}econd-Order extbf{S}tatistics extbf{O}ptimization (S$^2$O) over model weights. We challenge and relax a prevalent, yet often unrealistic, assumption in prior PAC-Bayesian frameworks: the statistical independence of weights. From this relaxation, we derive an improved PAC-Bayesian robust generalization bound. Our theoretical developments suggest that optimizing the second-order statistics of weights can substantially tighten this bound. We complement this theoretical insight by conducting an extensive set of experiments that demonstrate that S$^2$O not only enhances the robustness and generalization of neural networks when used in isolation, but also seamlessly augments other state-of-the-art adversarial training techniques. The code is available at https://github.com/Alexkael/S2O.

研究の動機と目的

• PAC-Bayesにおける重みの独立仮定を緩和し、重みの相関を考慮する。
• 重みの二次統計を組み込んだ頑健な一般化境界を導出する。
• 訓練中の頑健性と一般化を改善する実用的な正則化項（S2O）を開発する。
• Laplace近似による重み相関の推定・最適化フレームワークを提供する。
• S2Oがアーキテクチャとデータセットを横断して既存の対抗訓練技術を補完・強化することを示す。

提案手法

• 次元を跨ぐ相関を捉える非球対称ガウス後方分布として重みをモデル化する。
• 層ごとの摂動に対して重みの相関行列R, Rc, Rrを定義・計算する。
• 相関行列の行列式とスペクトルノルムを含む頑健な一般化境界を導出する（定理III.2, III.5）。
• Hessian情報から重みの相関行列を推定するためにLaplace近似を用いる（Section IV-B）。
• セクションIV-Cで、重みの相関に対するFrobeniusノormベースの正則化項としてS2Oを導入し、対敵訓練を導く。
• 提案された二次統計項の最小化が頑健な一般化境界を緊密化し、頑健性を向上させることを示す。

実験結果

リサーチクエスチョン

• RQ1 対敵訓練下で二次的な重み統計は頑健な一般化境界にどのような影響を与えるのか？
• RQ2 実際に相関行列を推定（例: Laplace近似）して訓練に組み込むことは可能か？
• RQ3 S2Oは単独での頑健性と一般化を改善し、他の既存の対抗訓練法と組み合わせた場合にも効果を発揮するのか？

主な発見

• 重みの相関を組み込んだ頑健な一般化境界は、二次統計が頑健性に果たす役割への洞察を提供する。
• FrobeniusノormとLaplaceベースの推定を用いた重み相関行列の最適化がS2O正則化項を導く。
• S2Oは単独でも頑健性と一般化を向上させ、他の対抗訓練手法を組み合わせた場合にも相乗的に効果を高める。
• ViT-B、DeiT-Sなどの多様なアーキテクチャとTiny-ImageNet、Imagenetteなどのデータセットで、複数のlpノルムにわたる頑健性指標を用いた実証評価を行った。
• S2Oのコードは公開されており、再現とさらなる探究が可能である。