[論文レビュー] Precise Statistical Analysis of Classification Accuracies for Adversarial Training

Adel Javanmard, Mahdi Soltanolkotabi|arXiv (Cornell University)|Oct 21, 2020

Advanced Statistical Methods and Models被引用数 4

ひとこと要約

本稿は、非等方的共分散を伴うガウス混合モデルにおける、最小最大敵対的訓練によって学習された二値線形分類器の標準的およびロバストな分類精度について、正確な理論的特徴付けを提供する。一般の ℓp-ノルムで制限された摂動下での正確な精度の式を導出し、敵対的強度、データサイズ、モデルの過剰パラメータ化に起因する非単調的で直感に反する依存関係を明らかにする。

ABSTRACT

Despite the wide empirical success of modern machine learning algorithms and models in a multitude of applications, they are known to be highly susceptible to seemingly small indiscernible perturbations to the input data known as \emph{adversarial attacks}. A variety of recent adversarial training procedures have been proposed to remedy this issue. Despite the success of such procedures at increasing accuracy on adversarially perturbed inputs or \emph{robust accuracy}, these techniques often reduce accuracy on natural unperturbed inputs or \emph{standard accuracy}. Complicating matters further, the effect and trend of adversarial training procedures on standard and robust accuracy is rather counter intuitive and radically dependent on a variety of factors including the perceived form of the perturbation during training, size/quality of data, model overparameterization, etc. In this paper we focus on binary classification problems where the data is generated according to the mixture of two Gaussians with general anisotropic covariance matrices and derive a precise characterization of the standard and robust accuracy for a class of minimax adversarially trained models. We consider a general norm-based adversarial model, where the adversary can add perturbations of bounded $\ell_p$ norm to each input data, for an arbitrary $p\ge 1$. Our comprehensive analysis allows us to theoretically explain several intriguing empirical phenomena and provide a precise understanding of the role of different problem parameters on standard and robust accuracies.

研究の動機と目的

• 敵対的訓練されたモデルにおける標準的精度とロバスト精度の間の直感に反するトレードオフを理論的に理解すること。
• 一般の ℓp-ノルム敵対的摂動下における二値線形分類の標準的およびロバスト精度の正確な挙動を特徴付けること。
• 非単調的精度曲線やデータサイズ依存の標準的精度の逆転といった実験的現象を説明すること。
• モデルの過剰パラメータ化、訓練データサイズ、摂動ノルム（ℓp）が分類性能に与える影響を分析すること。

提案手法

• データを一般の非等方的共分散行列を有する二つのガウス分布の混合としてモデル化する。
• 任意の p ≥ 1 に対して、一般の ℓp-ノルムで制限された摂動を伴うミニマックス敵対的訓練を分析する。
• 双対性および重み付きモラウエンVELOープ技術を用いて、標準的およびロバスト精度の正確な閉形式式を導出する。
• 特異値分解と最適化双対性を用いて、敵対的摂動上でのミニマックス問題を解く。
• 敵対的ロバストネスをモデル化するための一般化された損失関数を ℓq-ノルム正則化を用いて定式化する。
• やや弱い滑らかさおよび凸性の仮定の下で、勾配降下法が最大マージン解に収束することを確立する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練された線形分類器の標準的精度は、敵対的摂動の「感知された強度」（ℓp ノルム）にどのように依存するか？
• RQ2 訓練データサイズ（モデルパラメータ数に対する相対的サイズ）と、それによって得られる標準的およびロバスト精度の正確な関係は何か？
• RQ3 なぜ敵対的訓練は、低データ環境下では一般の傾向とは反対に標準的精度を向上させることがあるのか？
• RQ4 ℓ₁、ℓ₂、ℓ∞ などの異なる ℓp-ノルム摂動は、標準的精度とロバスト精度のトレードオフにどのように影響するか？
• RQ5 精度曲線の非単調的挙動を理論的に説明・予測できるか？

主な発見

• 標準的精度は、敵対的強度に非単調な依存関係を示し、最初に減少し、次に増加し、再び減少する。その正確な形状はデータ対パラメータ比 δ に依存する。
• ロバスト精度は、敵対的強度の増加に伴い初期には減少するが、δ に依存する閾値を超えると増加または安定化する。
• 非常に低データ環境（小さな δ）では、敵対的訓練されたモデルが非敵対的モデルを上回る標準的精度を示すことがあり、一般的なロバストネスと精度のトレードオフが逆転する。
• ℓ∞-ノルム摂動を用いた数値実験により、標準的およびロバスト精度の理論的予測が実験結果とよく一致することが確認された。
• 導出された精度の式は正確であり、データ平均の ℓp-ノルムおよび共分散行列の構造に明示的に依存する。
• 分析により、ℓp-摂動の種別、モデルの過剰パラメータ化、およびデータサイズの相互作用が、根本的に異なる性能トレンドを生じることが明らかになった。