[論文レビュー] Enhancing Adversarial Training with Second-Order Statistics of Weights

Gaojie Jin, Xinping Yi+3 more|arXiv (Cornell University)|Mar 11, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、ニューラルネットワークの重みを確率的変数としてモデル化し、その2次統計量——特に重み相関行列——を最適化することで、敵対的訓練を向上させる新規手法Second-Order Statistics Optimization (S2O) を提案する。PAC-Bayesianフレームワークを改変し、独立性の仮定を緩和し、S2Oを既存の敵対的訓練手法に統合することで、最小限のトレーニングオーバーヘッドで堅牢性と一般化性能を向上させ、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Adversarial training has been shown to be one of the most effective approaches to improve the robustness of deep neural networks. It is formalized as a min-max optimization over model weights and adversarial perturbations, where the weights can be optimized through gradient descent methods like SGD. In this paper, we show that treating model weights as random variables allows for enhancing adversarial training through extbf{S}econd-Order extbf{S}tatistics extbf{O}ptimization (S$^2$O) with respect to the weights. By relaxing a common (but unrealistic) assumption of previous PAC-Bayesian frameworks that all weights are statistically independent, we derive an improved PAC-Bayesian adversarial generalization bound, which suggests that optimizing second-order statistics of weights can effectively tighten the bound. In addition to this theoretical insight, we conduct an extensive set of experiments, which show that S$^2$O not only improves the robustness and generalization of the trained neural networks when used in isolation, but also integrates easily in state-of-the-art adversarial training techniques like TRADES, AWP, MART, and AVMixup, leading to a measurable improvement of these techniques. The code is available at \url{https://github.com/Alexkael/S2O}.

研究の動機と目的

• 敵対的訓練において、モデル重みの2次統計量が無視されているという問題を解決すること。
• 重みを相関のある統計量を持つ確率的変数としてモデル化することで、敵対的堅牢性と一般化性能を向上させること。
• 重み相関行列の最適化に理論的裏付けと実験的有効性を持つ手法を開発すること。
• 提案手法を既存の最先端の敵対的訓練フレームワークにスムーズに統合すること。
• 重みの2次統計量が一般化性能および堅牢性の向上に意味的かつ測定可能な寄与を果たすことを示すこと。

提案手法

• 本稿では、敵対的堅牢性を組み込み、重みの独立性仮定を緩和するようにPAC-Bayesianフレームワークを更新し、重み相関行列を2次統計量として導入する。
• 重み相関行列のスペクトルノルム、行列式、または特異値を最適化することで一般化バインドをタイトにする、新規なS2Oトレーニング手法を提案する。
• 2通りの推定手法を用いる：サンプリングに基づく手法とラプラス近似手法で、重み相関行列を効率的に計算する。
• 既存の敵対的訓練手法（TRADES、AWP、MART、AVMixupなど）と互換性があり、即挿入可能な設計である。
• 理論的分析により、重み相関行列のノルムを制御することで、改変されたPAC-Bayesianフレームワーク下で敵対的一般化バインドがタイトになることが示された。
• 実験ではt-SNE可視化とPGD攻撃を用い、潜在表現における分離性と堅牢性の向上を実証した。

実験結果

リサーチクエスチョン

• RQ1 モデル重みの2次統計量は、深層ニューラルネットワークにおける敵対的堅牢性と一般化性能を向上させることができるか？
• RQ2 PAC-Bayesianフレームワークにおける重みの独立性仮定を緩和すると、敵対的訓練の一般化バインドにどのような影響を与えるか？
• RQ3 トレーニング中に重み相関行列を計算・最適化する際に、顕著な計算コストが発生せずに効率的に推定可能か？
• RQ4 S2Oを既存の最先端の敵対的訓練手法に統合することで、測定可能な性能向上が得られるか？
• RQ5 重み相関行列のどのノルム（例：スペクトルノルム、行列式）が堅牢性向上に最も効果的か？

主な発見

• S2Oは単体でも顕著な堅牢性と一般化性能の向上を示し、CIFAR-10およびFashion-MNISTでPGD-20攻撃下で標準的な敵対的訓練を上回る性能を達成した。
• TRADES、AWP、MART、AVMixupといった最先端手法に対してもS2Oを統合することで、複数のベンチマークで新たな最先端の敵対的精度を達成した。
• S2Oはトレーニング時間のわずかな増加で実現可能であり、計算的に効率的で、実世界の展開に実用的である。
• t-SNE可視化により、AT+S2Oが敵対的摂動下でも中間層でより良いクラス分離を実現していることが確認された。
• 理論的分析により、重み相関行列の最適化がPAC-Bayesian敵対的一般化バインドをタイトにすることが示され、実験的成果の根拠づけが得られた。
• 本手法は異なるアーキテクチャやデータセットに対して堅牢であり、アーキテクチャの変更なしに一貫した向上を示した。