[論文レビュー] A single gradient step finds adversarial examples on random two-layers neural networks

Sébastien Bubeck, Yeshwanth Cherapanamjeri+2 more|arXiv (Cornell University)|Apr 8, 2021

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

この論文は、ネットワーク幅が過剰（k > d）で、入力次元dに対して超指数的でない場合でも、ランダムな2層ReLUおよびスムーズ活性化関数を用いたニューラルネットワークにおいて、1回の勾配ステップで adversarial examples が生成可能であることを証明している。主な結果は、高確率で、|η| ≈ √log(1/γ) である摂動 δ = η∇f(x) がネットワーク出力の符号を反転させることを示しており、これは、広大なランダムネットワークにおける局所的線形性ゆえに adversarial examples が自然に生じることを示している。

ABSTRACT

Daniely and Schacham recently showed that gradient descent finds adversarial examples on random undercomplete two-layers ReLU neural networks. The term "undercomplete" refers to the fact that their proof only holds when the number of neurons is a vanishing fraction of the ambient dimension. We extend their result to the overcomplete case, where the number of neurons is larger than the dimension (yet also subexponential in the dimension). In fact we prove that a single step of gradient descent suffices. We also show this result for any subexponential width random neural network with smooth activation function.

研究の動機と目的

• ランダムな2層ニューラルネットワークにおいて、1回の勾配ステップで adversarial examples が見つけられることを理論的に確認すること。
• 従来のk = o(d) の未過剰設定から、k > d の過剰設定への結果の拡張。
• スムーズ活性化関数およびReLU活性化関数を用いたランダムニューラルネットワークの勾配ベース攻撃に対する耐性を分析すること。
• 高次元ランダムアーキテクチャにおける勾配ベース攻撃の成功確率に関する確率的境界を確立すること。

提案手法

• i.i.d. ガウス分布 wℓ ∼ N(0, I/d) とランダムな符号 aℓ ∈ {−1, +1} を用いたランダム2層ネットワークモデルを採用する。
• 濃度不等式とガウス尾部バウンドを用いて、勾配と摂動の大きさを制御する。
• 有限ネット上の和集合を用いて、入力摂動における関数型の上界を制御する。
• リプシッツ濃度測度の集中を活用し、小さな摂動における勾配および関数の挙動の逸脱をバウンドする。
• ε-ネットを用いたチェーン化アプローチにより、小さな入力変化におけるネットワーク出力の振動を制御する。
• ガウスコールドのモーメントおよび尾部推定を用いて、高確率バウンドにおける明示的定数を導出する。

実験結果

リサーチクエスチョン

• RQ1 過剰なランダム2層ReLUネットワークにおいて、1回の勾配ステップで adversarial examples が生成可能か？
• RQ2 ニューロン数が入力次元を上回る場合、ランダムネットワークにおいて adversarial examples の現象が継続するか？
• RQ3 ネットワークの幅が、勾配降下法による adversarial examples の発見確率にどのように影響するか？
• RQ4 Fast Gradient Sign Method (FGSM) の成功は、ランダムニューラルネットワークの局所的線形性に理論的根拠を持つのか？

主な発見

• スムーズ活性化関数の場合、|η| ≈ C₃√log(1/γ) で、k ≥ C₁log³(1/γ) および d ≥ C₂log(k/γ)log(1/γ) の条件下で、f(x) の符号を反転させる確率が 1−γ 以上である。
• ReLUネットワークの場合、同じ結果が k ≥ C₁d log²(d) および d/log(d) ≥ C₂log⁴(k)log(1/γ) の条件下で成り立ち、|η| ≈ C₃√log(1/γ) である。
• 摂動ノルム ∥η∇f(x)∥ は C₄√log(1/γ) でバウンドされ、小さなターゲット付き adversarial 摂動であることを示している。
• 実験的結果は、符号反転に必要な最小の η が d や k にかかわらずほぼ一定であり、d, k > 50 の場合、|η| < 20 で100%のサンプルが adversarial であることを確認している。
• この現象はより深いネットワーク（L = 1 から 6）に対しても成立するが、メモリ制限のため、100%成功の閾値は深さに応じて上昇する。
• 理論的枠組みにより、Fast Gradient Sign Method (FGSM) が成功するのは、大多数のランダムネットワークが広大な入力領域で局所的に線形であるためであることが確認された。