[論文レビュー] Regularization Effect of Fast Gradient Sign Method and its Generalization

Chandler Zuo|arXiv (Cornell University)|Oct 27, 2018

Sparse and Compressive Sensing Techniques参考文献 13被引用数 4

ひとこと要約

本稿は、一般化線形モデルにおける正則化手法として一般化された高速勾配符号法（FGSM）を導入し、1層ニューラルネットワークにおけるその漸近的性質を導出する。一般化FGSMが√n-一貫性および弱オラクル性を達成することを証明しており、罰則のスケーリングがノイズレベルに自動的に調整されるが、誤差の符号がバランスされていない（非符号中立的サンプリング）場合には追加のバイアスが生じる。

ABSTRACT

Fast Gradient Sign Method (FGSM) is a popular method to generate adversarial examples that make neural network models robust against perturbations. Despite its empirical success, its theoretical property is not well understood. This paper develops theory to explain the regularization effect of Generalized FGSM, a class of methods to generate adversarial examples. Motivated from the relationship between FGSM and LASSO penalty, the asymptotic properties of Generalized FGSM are derived in the Generalized Linear Model setting, which is essentially the 1-layer neural network setting with certain activation functions. In such simple neural network models, I prove that Generalized FGSM estimation is root n-consistent and weakly oracle under proper conditions. The asymptotic results are also highly similar to penalized likelihood estimation. Nevertheless, Generalized FGSM introduces additional bias when data sampling is not sign neutral, a concept I introduce to describe the balance-ness of the noise signs. Although the theory in this paper is developed under simple neural network settings, I argue that it may give insights and justification for FGSM in deep neural network settings as well.

研究の動機と目的

• ニューラルネットワーク学習における高速勾配符号法（FGSM）の正則化効果の理論的基盤を構築すること。
• FGSMの元来の定式化を超えて、敵対的例生成法の一般化クラスを導入すること。
• 一般化線形モデル（GLM）の文脈において、一般化FGSMの漸近的性質を分析すること。これは、特定の活性化関数を有する1層ニューラルネットワークと同等である。
• LASSOなどのペナルティ付き尤度推定法と比較して、一般化FGSMの一致性およびバイアスの観点から評価すること。
• データのサンプリング特性、特に誤差の符号のバランス（符号中立性）が推定バイアスおよび性能に与える影響を調査すること。

提案手法

• 一般化FGSMは、敵対的摂動から導かれるペナルティ項を有する最尤推定として定式化され、摂動の方向は損失関数の勾配の符号によって決定される。
• この手法は、残差の符号 $ \text{sign}(e_i) $ に依存するペナルティ関数 $ p_{\nu_n}(\beta) $ を導入し、敵対的ノイズを損失関数に構造的正則化として埋め込む。
• 理論的分析は、ロジスティックリンクなどの正規リンク関数を有する一般化線形モデル（GLM）フレームワーク内で実施され、1層ニューラルネットワークをモデル化する。
• 正則性条件の下で漸近的性質が導出され、説明変数のモーメントの有界性および設計行列分布の尾部条件が含まれる。
• 推定誤差を制限するためにマルティングールおよび経験過程の技法を用いて、推定量の√n-一貫性および弱オラクル性が確立される。
• 推定量のバイアスに影響を与える「符号中立性」という新しい概念が導入され、これはサンプリング分布における誤差符号のバランスを記述する。

実験結果

リサーチクエスチョン

• RQ1 一般化FGSM推定は、1層ニューラルネットワーク設定において√n-一貫性を達成するか？
• RQ2 LASSOなどの古典的ペナルティ付き尤度法と比較して、一般化FGSMの一致性およびオラクル性の観点での性能はいかがなっているか？
• RQ3 サンプリング分布の符号中立性が、一般化FGSM推定量のバイアスに果たす役割は何か？
• RQ4 説明変数分布（例えば尾部の挙動）にどのような条件下で、一般化FGSMはその漸近的性質を維持するか？
• RQ5 単純なモデルにおける一般化FGSMの理論的性質は、深層ニューラルネットワークにおけるFGSMの挙動を理解する手がかりを提供できるか？

主な発見

• 正則性条件の下で、一般化FGSM推定は√n-一貫性を有する。これは推定量が真のパラメータに標準的パラメトリックレートで収束することを意味する。
• 推定量は弱オラクルである。これは、適切なスパarsityおよび設計条件の下で、標本サイズが増加するにつれて真のモデルを高確率で正しく選択できることを意味する。
• 一般化FGSMにおけるペナルティ乗数は、ノイズレベルに自動的にスケーリングされる。これは、LASSOのような固定ペナルティ法とは対照的で、大きな利点である。
• サンプリング分布が符号中立的でない（誤差符号がバランスされていない）場合には、一般化FGSMはLASSO型ペナルティと比較して追加のバイアスを生じる。
• ロジスティック回帰モデルでは、説明変数分布が軽尾（例：ガウス分布や有界分布）である場合、漸近的性質が成立する。
• 理論的結果はモーメントの有界性および尾部条件によって支持され、有限モーメントが成立する十分条件として、説明変数密度が指数的に減少すること（例：$ f_{\mathbf{x}_1}(\mathbf{x}) \leq C e^{-A\|\mathbf{x}\|} $）が挙げられる。