[論文レビュー] Towards Understanding the Dynamics of the First-Order Adversaries

Zhun Deng, Hangfeng He+2 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Malware Detection Techniques被引用数 4

ひとこと要約

本稿は、2層ReLUネットワークと2次損失関数を用いた一階の adversarial 攻撃における投影勾配上昇（PGA）の収束解析を初めて提供する。PGA が高確率で多項式時間内で局所的最大値に収束することを証明し、入力スケールが小さいほど収束が速く、損失のランドスケープがより滑らかになることを示した。実験により、シミュレートされたデータおよび実世界のデータにおいてその妥当性を検証した。

ABSTRACT

An acknowledged weakness of neural networks is their vulnerability to adversarial perturbations to the inputs. To improve the robustness of these models, one of the most popular defense mechanisms is to alternatively maximize the loss over the constrained perturbations (or called adversaries) on the inputs using projected gradient ascent and minimize over weights. In this paper, we analyze the dynamics of the maximization step towards understanding the experimentally observed effectiveness of this defense mechanism. Specifically, we investigate the non-concave landscape of the adversaries for a two-layer neural network with a quadratic loss. Our main result proves that projected gradient ascent finds a local maximum of this non-concave problem in a polynomial number of iterations with high probability. To our knowledge, this is the first work that provides a convergence analysis of the first-order adversaries. Moreover, our analysis demonstrates that, in the initial phase of adversarial training, the scale of the inputs matters in the sense that a smaller input scale leads to faster convergence of adversarial training and a "more regular" landscape. Finally, we show that these theoretical findings are in excellent agreement with a series of experiments.

研究の動機と目的

• 敵対的訓練の内部最大化ステップにおける投影勾配上昇（PGA）のダイナミクスを理解すること。
• 入力スケールが敵対的訓練の収束速度およびランドスケープの規則性に与える影響を調査すること。
• 一階の敵対的訓練の経験的有効性の理論的基盤を提供すること。
• 2層ReLUネットワークにおける2次損失関数を用いた敵対的摂動の非凹なランドスケープを分析すること。
• 敵対的ロバストネス訓練の文脈において、PGA の収束を厳密に保証すること。

提案手法

• 2層ReLUニューラルネットワークと2次損失関数を用いた敵対的摂動の非凹なランドスケープを分析する。
• 敵対的訓練における内部最大化問題のソルバーとして、投影勾配上昇（PGA）を用いる。
• 収束定理を用いて、PGA が高確率で多項式時間内に近似局所最大値を発見することを証明する。
• 摂動球上の局所最小値および最大値を分析するため、勾配間の角度とヘッセ行列の近似に基づく幾何的議論を導入する。
• 異なる入力スケールと隠れ層の幅を用いたシミュレートデータ上で理論的知見を検証する実験を実施する。
• MNIST に対して PGD を用いて軌道追跡を実施し、ランダムな摂動から局所最大値への収束を可視化する。

実験結果

リサーチクエスチョン

• RQ1 敵対的最適化問題において、投影勾配上昇（PGA）は局所最大値に迅速に収束するか？
• RQ2 入力スケールは敵対的訓練の収束速度およびランドスケープの規則性にどのように影響するか？
• RQ3 PGA が鞍点に閉じ込められるのではなく、局所最大値を発見する理論的保証はあるか？
• RQ4 隠れ層の幅は敵対的損失ランドスケープにどのように影響するか？
• RQ5 入力スケールとランドスケープの規則性に関する理論的知見は、経験的観察と整合的か？

主な発見

• 投影勾配上昇は、高確率で多項式時間内に局所最大値に収束し、一階の敵対的攻撃における最初の収束保証を提供する。
• 入力スケールが小さいほど、敵対的訓練の収束が速くなり、損失ランドスケープがより滑らかになる。
• ネットワークの幅が大きくなると、特に入力スケールが小さい場合、敵対的損失ランドスケープがより規則的になる。
• 理論的分析により、小さな摂動半径では勾配方向が良好に分離されていることが示され、効率的な収束が可能である。
• MNIST およびシミュレートデータにおける経験的結果から、入力スケールが小さいほど収束が速く、局所最大値への滑らかな軌道が得られることが確認された。
• 理論的知見と実験的結果が強く一致しており、入力スケールが最適化ダイナミクスを規定する役割を果たしていることが検証された。