[論文レビュー] Convergence of Adversarial Training in Overparametrized Neural Networks

Ruiqi Gao, Tianle Cai+4 more|arXiv (Cornell University)|Jun 19, 2019

Adversarial Robustness in Machine Learning参考文献 59被引用数 55

ひとこと要約

この論文は、敵対的訓練が過剰パラメータ化されたネットワークにおいてほぼ最適なロバスト損失を持つネットワークへ収束すること、そしてロバスト補間にはより大きな容量が必要であることを証明する。

ABSTRACT

Neural networks are vulnerable to adversarial examples, i.e. inputs that are imperceptibly perturbed from natural data and yet incorrectly classified by the network. Adversarial training, a heuristic form of robust optimization that alternates between minimization and maximization steps, has proven to be among the most successful methods to train networks to be robust against a pre-defined family of perturbations. This paper provides a partial answer to the success of adversarial training, by showing that it converges to a network where the surrogate loss with respect to the the attack algorithm is within $ε$ of the optimal robust loss. Then we show that the optimal robust loss is also close to zero, hence adversarial training finds a robust classifier. The analysis technique leverages recent work on the analysis of neural networks via Neural Tangent Kernel (NTK), combined with motivation from online-learning when the maximization is solved by a heuristic, and the expressiveness of the NTK kernel in the $\ell_\infty$-norm. In addition, we also prove that robust interpolation requires more model capacity, supporting the evidence that adversarial training requires wider networks.

研究の動機と目的

• 実践的に敵対的訓練がロバストな分類器につながる理由を動機づける。
• 広いネットワーク領域における代理ロバスト損失の収束保証を示す。
• RKHS/NTKの視点を用いてネットワークの表現力とロバスト損失を結びつける。
• ロバスト補間の容量（VC次元）要件を示す。

提案手法

• A を攻撃を表す摂動関数とする代理損失 L_A(W) を分析する。
• 初期化を中心とする凸球 B(R) 内で、射影勾配法が近似最小のロバスト損失へ収束することを証明する。
• NTK（ニューラル・タンジェント・カーネル）と RKHS 議論を用いて、広いネットワークとロバスト分類器の存在を関連づける。
• 滑らかな活性化を持つ2層ネットワークの解析を提供し、射影なしでの収束を示す。
• VC 次元の議論を通じてロバスト補間の容量下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 初期化の近傍で、敵対的訓練が最適なロバスト損失に近いロバスト損失を持つネットワークへ収束することができるか？
• RQ2 一般的な攻撃摂動の下で、広いネットワーク幅は代理敵対的損失の収束を保証するか？
• RQ3 ロバスト補間は標準補間より本質的に高い容量を必要とするのか？
• RQ4 NTK/RKHS の枠組みは、初期化近傍でのロバスト分類器の存在と近似をどう説明するか？

主な発見

• 射影付き勾配降下法は、初期化の球内で最良のロバスト損失のエpsilon 以内へ収束する（十分な幅がある場合）。
• 滑らかな活性化を持つ2層ネットワークは、敵対的訓練の下で射影なしにほぼ最適なロバスト損失へ収束する。
• 十分な幅がある場合、初期化ボール内に、ほぼ最小のロバスト損失（epsilon）を達成するネットワークが存在する。
• 与えられた仮定と攻撃モデルの下で、敵対的訓練は小さなロバスト訓練損失を持つネットワークを見つけることができる。
• ロバスト補間のVC次元は Omega(n d) に下界付けられ、標準補間と比べてロバスト性にはより高い容量が必要であることを示す。