[論文レビュー] Implicit Bias of Gradient Descent based Adversarial Training on Separable Data

Yan Li, Ethan X. Fang+2 more|arXiv (Cornell University)|Apr 30, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用数 22

ひとこと要約

本稿は、線形分離可能なデータにおける敵対的訓練における勾配降下法の暗黙的バイアスを分析し、O(1/√T) のレートで最大L2マージン分類器に収束することを示している。これはクリーンデータ訓練よりも著しく速い。さらに、有界なLqノルムの摂動が最大ミックスノルムマージン分類器をもたらすことを確立し、敵対的ロバストネスの理論的根拠を提供する。

ABSTRACT

Adversarial training is a principled approach for training robust neural networks. Despite of tremendous successes in practice, its theoretical properties still remain largely unexplored. In this paper, we provide new theoretical insights of gradient descent based adversarial training by studying its computational properties, specifically on its implicit bias. We take the binary classification task on linearly separable data as an illustrative example, where the loss asymptotically attains its infimum as the parameter diverges to infinity along certain directions. Specifically, we show that for any fixed iteration $T$, when the adversarial perturbation during training has proper bounded L2 norm, the classifier learned by gradient descent based adversarial training converges in direction to the maximum L2 norm margin classifier at the rate of $O(1/\sqrt{T})$, significantly faster than the rate $O(1/\log T}$ of training with clean data. In addition, when the adversarial perturbation during training has bounded Lq norm, the resulting classifier converges in direction to a maximum mixed-norm margin classifier, which has a natural interpretation of robustness, as being the maximum L2 norm margin classifier under worst-case bounded Lq norm perturbation to the data. Our findings provide theoretical backups for adversarial training that it indeed promotes robustness against adversarial perturbation.

研究の動機と目的

• 線形分離可能なデータにおける敵対的訓練における勾配降下法の暗黙的バイアスを理解すること。
• 敵対的摂動がパラメータ空間における収束方向に与える影響を分析すること。
• クリーンデータでの標準的訓練と比較して、敵対的訓練の収束速度を比較すること。
• 敵対的摂動がLqノルムで有界である場合の結果として得られる分類器を特定すること。
• 敵対的訓練で観察されるロバストネスの理論的根拠を提供すること。

提案手法

• 勾配降下法に基づく敵対的訓練における線形分離可能なデータを用いた二値分類を分析する。
• パラメータが特定の方向に無限に発散する極限を考慮し、方向における収束に注目する。
• 有界なL2ノルム摂動を用いて、最大L2ノルムマージン分類器への収束を示す。
• Lqノルムに有界な摂動への拡張を行い、最大ミックスノルムマージン分類器への収束を導出する。
• 損失関数の漸近的解析を用いて、最適化プロセスの暗黙的バイアスを特徴付ける。
• O(1/√T) を用いて、L2有界摂動における方向における収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 線形分離可能なデータにおける敵対的訓練の勾配降下法は、方向にどのように収束するか？
• RQ2 敵対的訓練の収束速度は、クリーンデータでの標準的訓練と比べてどうなるか？
• RQ3 摂動ノルムの選択（L2対Lq）が敵対的訓練の暗黙的バイアスに与える影響は何か？
• RQ4 Lqノルムに有界な摂動下での学習された分類器の幾何的解釈は何か？
• RQ5 敵対的訓練は、その暗黙的バイアスによってロバストネスを内蔵的に促進するか？

主な発見

• 有界なL2ノルム摂動の下で、敵対的訓練は方向にO(1/√T) のレートで最大L2ノルムマージン分類器に収束する。これは標準的訓練のO(1/log T) のレートよりも速い。
• 最大L2ノルムマージン分類器は、パラメータがパラメータ空間内の特定の方向に発散する極限で漸近的に達成される。
• 摂動がLqノルムで有界である場合、分類器は最大ミックスノルムマージン分類器に収束する。これは、最悪のLq有界摂動下でのL2マージンに対応する。
• このミックスノルムマージン分類器は、敵対的攻撃に対するロバストネスの自然な理論的解釈を提供する。
• 結果として、敵対的訓練の暗黙的バイアスがロバストネスと整合しており、その実験的成功に対する理論的支援を提供する。
• 敵対的訓練の収束レートO(1/√T) は、標準的訓練で観察されるO(1/log T) のレートよりも著しく速い。