[論文レビュー] Fast Certified Robust Training with Short Warmup

Zhouxing Shi, Yihan Wang+3 more|arXiv (Cornell University)|Mar 31, 2021

Adversarial Robustness in Machine Learning参考文献 54被引用数 6

ひとこと要約

本稿では、短いウォームアップスケジュールを用いた区間境界伝播（IBP）を用いたニューラルネットワークの高速で証明可能なロバスト訓練手法を提案する。IBPに特化した重み初期化、各層に完全なバッチ正規化、および安定な証明可能な境界とReLU活性化状態のバランスを保つための正則化を導入し、CIFAR-10（65.03%）およびTinyImageNet（82.36%）でSOTAの検証誤差を達成した。それぞれ160および80エポックで達成されており、訓練コストを顕著に削減した。

ABSTRACT

Recently, bound propagation based certified robust training methods have been proposed for training neural networks with certifiable robustness guarantees. Despite that state-of-the-art (SOTA) methods including interval bound propagation (IBP) and CROWN-IBP have per-batch training complexity similar to standard neural network training, they usually use a long warmup schedule with hundreds or thousands epochs to reach SOTA performance and are thus still costly. In this paper, we identify two important issues in existing methods, namely exploded bounds at initialization, and the imbalance in ReLU activation states and improve IBP training. These two issues make certified training difficult and unstable, and thereby long warmup schedules were needed in prior works. To mitigate these issues and conduct faster certified training with shorter warmup, we propose three improvements based on IBP training: 1) We derive a new weight initialization method for IBP training; 2) We propose to fully add Batch Normalization (BN) to each layer in the model, since we find BN can reduce the imbalance in ReLU activation states; 3) We also design regularization to explicitly tighten certified bounds and balance ReLU activation states during wamrup. We are able to obtain 65.03% verified error on CIFAR-10 ($ε=\frac{8}{255}$) and 82.36% verified error on TinyImageNet ($ε=\frac{1}{255}$) using very short training schedules (160 and 80 total epochs, respectively), outperforming literature SOTA trained with hundreds or thousands epochs under the same network architecture. The code is available at https://github.com/shizhouxing/Fast-Certified-Robust-Training.

研究の動機と目的

• 初期化時の境界の爆発およびReLU活性化状態の不均衡による、証明可能なロバスト訓練の不安定さと高コストを解消すること。
• IBPベースの証明可能な訓練における長時間のウォームアップスケジュール（数百～数千年エポック）の必要性を低減すること。
• 訓練効率を向上させつつ、SOTAの証明可能なロバスト性パフォーマンスを維持または上回ること。
• IBP訓練における主要な不安定要因、特に不良な重み初期化とReLUの不均衡を同定し、解決すること。

提案手法

• 初期化時の証明可能な境界のタイトさを安定化させるため、新しいIBP特化型重み初期化手法を提案する。
• ReLU活性化状態のバランスを保ち、勾配の流れを安定化させるために、各層に完全なバッチ正規化を導入する。
• 証明可能な境界を明示的にタイトに保ち、ウォームアップ中におけるReLU状態のバランスを維持するための正則化項を設計する。
• IBPベースの証明可能な損失と短いウォームアップスケジュールを組み合わせ、段階的に摂動半径を0から目標値へと増加させる。
• 初期学習段階における分散の安定化と境界の爆発防止を図るため、変更を加えた訓練目的関数を採用する。
• IBP初期化、バッチ正規化、正則化を統合した統一フレームワークを用いて、安定的かつ高速な証明可能な訓練を実現する。

実験結果

リサーチクエスチョン

• RQ1 既存のIBPベースの証明可能な訓練手法が長時間のウォームアップスケジュールを必要とする理由は何か？
• RQ2 不良な重み初期化は、IBP訓練における証明可能な境界伝播の不安定さにどのように寄与するか？
• RQ3 バッチ正規化は、証明可能な訓練におけるReLU活性化状態の不均衡をどの程度軽減できるか？
• RQ4 正則化は、短いウォームアップ中において、証明可能な境界をタイトに保ち、訓練の安定性を向上させることができるか？
• RQ5 性能を損なわず、SOTAの証明可能なロバスト性を達成するための最小限の訓練スケジュールはどの程度か？

主な発見

• 提案手法は、CIFAR-10（ϵ = 8/255）で合計160エポックの訓練で65.03%の検証誤差を達成した。
• TinyImageNet（ϵ = 1/255）では80エポックで82.36%の検証誤差を達成し、先行SOTA手法を上回った。
• 同様のアーキテクチャを用いた先行研究が900～2000エポックを要していたのに対し、合計訓練コストを顕著に削減した。
• 完全なバッチ正規化はReLU活性化状態の不均衡を効果的に低減し、安定性とパフォーマンスの両方を向上させた。
• IBP特化型重み初期化により、初期化段階での境界の爆発を防止し、収束を高速化できた。
• IBP初期化、完全なバッチ正規化、正則化の組み合わせにより、最小限のウォームアップで安定な訓練が可能になった。