[論文レビュー] Fast Certified Robust Training via Better Initialization and Shorter Warmup.

Zhouxing Shi, Yihan Wang+3 more|arXiv (Cornell University)|Mar 31, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、新しいIBP特化型重み初期化とウォームアップ中の適応的正則化項を導入することで、計算コストを大幅に削減しながらも、堅牢性を保証する訓練を高速化する手法を提案する。160エポックと80エポックのそれぞれで、CIFAR-10（$5=8/255$）で65.03%、TinyImageNet（$5=1/255$）で82.13%のSOTA（最先端）の検証誤差を達成しており、従来の手法が数百～数千エポックを要するのに対し、著しく少ないエポック数で優れた性能を発揮している。

ABSTRACT

Recently, bound propagation based certified adversarial defense have been proposed for training neural networks with certifiable robustness guarantees. Despite state-of-the-art (SOTA) methods including interval bound propagation (IBP) and CROWN-IBP have per-batch training complexity similar to standard neural network training, to reach SOTA performance they usually need a long warmup schedule with hundreds or thousands epochs and are thus still quite costly for training. In this paper, we discover that the weight initialization adopted by prior works, such as Xavier or orthogonal initialization, which was originally designed for standard network training, results in very loose certified bounds at initialization thus a longer warmup schedule must be used. We also find that IBP based training leads to a significant imbalance in ReLU activation states, which can hamper model performance. Based on our findings, we derive a new IBP initialization as well as principled regularizers during the warmup stage to stabilize certified bounds during initialization and warmup stage, which can significantly reduce the warmup schedule and improve the balance of ReLU activation states. Additionally, we find that batch normalization (BN) is a crucial architectural element to build best-performing networks for certified training, because it helps stabilize bound variance and balance ReLU activation states. With our proposed initialization, regularizers and architectural changes combined, we are able to obtain 65.03% verified error on CIFAR-10 ($\epsilon=\frac{8}{255}$) and 82.13% verified error on TinyImageNet ($\epsilon=\frac{1}{255}$) using very short training schedules (160 and 80 total epochs, respectively), outperforming literature SOTA trained with a few hundreds or thousands epochs.

研究の動機と目的

• 既存の認証可能 adversarial 訓練手法が要する長時間のウォームアップスケジュールを短縮すること。これは、バッチあたりの計算量は同程度であるが、計算コストが非常に高い。
• Xavier や直交初期化といった標準的な重み初期化手法が原因で、IBPベースの訓練開始時における認証境界が緩くなる問題に対処すること。
• IBPベースの訓練におけるReLU活性化状態の不均衡がモデル性能に与える影響を軽減すること。
• バッチ正規化が、境界分散の安定化とReLU活性化状態のバランス改善に果たす役割を特定・特定すること。
• 大幅に短縮された訓練期間で最先端の認証可能ロバスト性を達成できる包括的な訓練パイプラインを開発すること。

提案手法

• 認証境界伝播の理論的分析に基づき導出された、IBP特化型の重み初期化手法を提案。訓練開始時から境界をタイトに保つことを目的とする。
• ウォームアップ段階において、認証境界の安定化と初期段階の反復における分散低減を目的とした、根拠に基づいた正則化項を導入。
• ReLU活性化状態のバランスと層間における認証境界分散の安定化に不可欠であると判明したバッチ正規化を、重要なアーキテクチャ的要素として採用。
• 改善された初期化と正則化によりウォームアップフェーズを短縮することで、訓練スケジュールを最適化。これにより、より少ないエポック数で収束を達成可能。
• 認証可能ロバスト性のフレームワークとして、区間境界伝播（IBP）を採用。重み初期化と訓練ダイナミクスの改良により、効率性を向上。
• 初期化と最適化レベルの改善を組み合わせることで、最小限の訓練時間で高い認証可能ロバスト性を実現。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な重み初期化手法（Xavier や直交初期化など）が、IBPベースの訓練開始時に緩い認証境界を生じさせるのか？
• RQ2 ReLU活性化状態の不均衡がIBP訓練中の認証可能ロバスト性に与える影響は何か？ そして、これを軽減できるか？
• RQ3 専用の初期化と正則化戦略を採用することで、性能を損なわず、ウォームアップスケジュールを著しく短縮できるか？
• RQ4 バッチ正規化は、認証可能訓練中の境界の安定化とReLU活性化状態のバランス改善に果たす役割は何か？
• RQ5 改善された初期化、正則化、およびアーキテクチャ的選択の組み合わせにより、著しく少ないエポック数でSOTAの認証可能ロバスト性を達成できるか？

主な発見

• 提案されたIBP特化型初期化により、訓練開始時から認証境界が著しくタイトに保たれ、長時間のウォームアップが必要なくなる。
• ウォームアップ段階で根拠に基づいた正則化項を用いることで、境界伝播の安定化と収束の加速が実現され、少ないエポック数での有効な訓練が可能になった。
• バッチ正規化は、境界分散の安定化とReLU活性化状態のバランス改善に不可欠であることが判明。これにより認証精度が直接的に向上した。
• CIFAR-10（$5=8/255$）では、合計160エポックで65.03%の検証誤差を達成。従来のSOTA手法が数百～数千エポックを要するのに対し、優れた性能を発揮。
• TinyImageNet（$5=1/255$）では、わずか80エポックで82.13%の検証誤差を達成。従来手法と比較して、顕著な効率性の向上を示した。
• 改善された初期化、正則化、およびバッチ正規化の組み合わせにより、最小限の訓練コストで最先端の認証可能ロバスト性が実現可能となった。