[論文レビュー] Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality

Yi Zhang, Orestis Plevrakis+4 more|arXiv (Cornell University)|Feb 16, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用数 7

ひとこと要約

この論文は、ReLUネットワークを用いた adversarial training が、多項式的な幅と反復回数のみで低robust訓練損失を達成できることを示す最初の理論的分析を提供している。これは、先行研究で必要とされた指数的過パラメータ化を克服するものである。自然なデータ分離性仮定の下で、2層のReLUネットワークは、初期化がランダムなガウス分布に近い状態から、多項式時間・幅 poly(d, n/ε) で訓練データをrobustに適合させられることを証明しており、ステップ関数に対する新しい近似結果を活用している。

ABSTRACT

Adversarial training is a popular method to give neural nets robustness against adversarial perturbations. In practice adversarial training leads to low robust training loss. However, a rigorous explanation for why this happens under natural conditions is still missing. Recently a convergence theory for standard (non-adversarial) supervised training was developed by various groups for {\em very overparametrized} nets. It is unclear how to extend these results to adversarial training because of the min-max objective. Recently, a first step towards this direction was made by Gao et al. using tools from online learning, but they require the width of the net to be \emph{exponential} in input dimension $d$, and with an unnatural activation function. Our work proves convergence to low robust training loss for \emph{polynomial} width instead of exponential, under natural assumptions and with the ReLU activation. Key element of our proof is showing that ReLU networks near initialization can approximate the step function, which may be of independent interest.

研究の動機と目的

• adversarial training が、min-max 目的関数と非凸性の下でも、なぜ効率的にrobustモデルを発見できるのかを理論的に解明すること。
• 先行研究で必要とされた指数的過パラメータ化要件を克服すること。これは、robust損失 ε に対して (1/ε)^Ω(d) のスケーリングを要する。
• 現実的な仮定の下で、多項式的幅と多項式的時間のadversarial training が、低robust損失を達成できることを確立すること。
• 新しい近似理論的結果を証明すること：初期化に近い重みを持つReLUネットワークが、多項式的幅でステップ関数を近似可能である。

提案手法

• 訓練例が adversarial パーティクル半径よりも分離されているというデータ分離性仮定を導入し、CIFAR-10 などの実データセットで成り立つことを示す。
• ランダムなガウス初期化に近い2層のReLUネットワークを構築し、幅が poly(d, n/ε) で、すべての訓練データをrobustに適合させる。
• 初期化に近い重みを持つReLUネットワークがステップ関数を近似できることを示す、新しい近似論拠を用いる。これは、測度の集中とガウス尾部バウンドに依存する。
• 勾配降下法によるadversarial training 動的解析を行い、poly(d, n/ε) 回の反復でrobust解に収束することを示す。
• 入力シフトに対するネットワーク出力の変化を摂動に基づいて分析し、インジケータ関数と集中不等式を用いてReLU活性化の差をバウンドする。
• チェルノフ不等式とランダム重みの和集合不等式を用い、小さな摂動下で活性化の符号が変わるニューロンの数を制御する。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークを用いたadversarial training は、指数的ではなく多項式的幅と時間で、低robust訓練損失を達成できるか？
• RQ2 自然なデータ仮定の下で、adversarial training の経験的成功を理論的に正当化できるか？
• RQ3 初期化に近いReLUネットワークは、多項式的幅でステップ関数を近似できるか？
• RQ4 標準的な過パラメータ化の下で、adversarial training のmin-max目的関数はrobust解に収束するか？

主な発見

• 自然なデータ分離性仮定の下で、幅が poly(d, n/ε) の2層ReLUネットワークが、ガウス初期化に近い状態に存在し、ε のrobust訓練損失を達成できる。
• 勾配降下法によるadversarial training は、poly(d, n/ε) 回の反復でそのようなネットワークに収束し、入力次元 d に指数的依存を回避する。
• ネットワークのrobust性は、初期化に近い重みを持つReLUネットワークによるステップ関数の新しい近似によって達成され、これは独立した理論的関心をもつ。
• 解析により、小さな摂動下で高確率で O(√m) 個のニューロンしか活性化の符号を変えることがなく、安定な勾配更新が可能であることが示された。
• 証明は、測度の集中とガウスベクトルの尾部バウンドに依存しており、これによりほとんどのニューロンがadversarial摂動下でも安定することが保証される。