[論文レビュー] Precise Tradeoffs in Adversarial Training for Linear Regression

Adel Javanmard, Mahdi Soltanolkotabi+1 more|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用数 12

ひとこと要約

本稿は、ガウス型特徴設定下での線形回帰における敵対的訓練の下で、標準的リスクとロバストリスクのトレードオフを、高次元漸近解析を用いて正確に理論的に特徴づけている。達成可能なリスクの正確な式が導出され、データサイズ、モデルの過パrameter化、敵対的摂動のレベルがこのトレードオフに与える影響が明らかにされ、根本的な限界とアルゴリズムの性能が明らかにされた。

ABSTRACT

Despite breakthrough performance, modern learning models are known to be highly vulnerable to small adversarial perturbations in their inputs. While a wide variety of recent \emph{adversarial training} methods have been effective at improving robustness to perturbed inputs (robust accuracy), often this benefit is accompanied by a decrease in accuracy on benign inputs (standard accuracy), leading to a tradeoff between often competing objectives. Complicating matters further, recent empirical evidence suggest that a variety of other factors (size and quality of training data, model size, etc.) affect this tradeoff in somewhat surprising ways. In this paper we provide a precise and comprehensive understanding of the role of adversarial training in the context of linear regression with Gaussian features. In particular, we characterize the fundamental tradeoff between the accuracies achievable by any algorithm regardless of computational power or size of the training data. Furthermore, we precisely characterize the standard/robust accuracy and the corresponding tradeoff achieved by a contemporary mini-max adversarial training approach in a high-dimensional regime where the number of data points and the parameters of the model grow in proportion to each other. Our theory for adversarial training algorithms also facilitates the rigorous study of how a variety of factors (size and quality of training data, model overparametrization etc.) affect the tradeoff between these two competing accuracies.

研究の動機と目的

• 敵対的訓練下での線形回帰における標準的リスクとロバストリスクの根本的トレードオフを理解すること。
• 計算能力やトレーニングデータサイズにかかわらず、あらゆるアルゴリズムの性能限界を特徴づけること。
• 敵対的訓練アルゴリズムが、n/p → δ となる高次元的状態において、このトレードオフをどのように達成するかを分析すること。
• データサイズ、データ品質、モデルの過パrameter化が、標準的・ロバスト精度のトレードオフに与える影響を検討すること。

提案手法

• n と p が比例して増大し、n/p → δ ∈ (0, ∞) となる高次元的漸近的状態を用いる。
• 凸ガウス型ミニマックス定理を適用して、標準的リスクと敵対的リスクの正確な式を導出する。
• 到達可能な（標準的リスク、敵対的リスク）ペアのパレート最適フロンティアの漸近的表現を導出する。
• ミニマックス敵対的訓練定式化を導入し、高度なガウス過程の不等式を用いてその性能を分析する。
• パramータ α, ε, τ*, μ, ω を含む固定点方程式系を解き、均衡状態を特徴づける。
• 標準的リッジ回帰における正則化パラメータ λ と敵対的訓練における摂動レベル ε の間のマッピングを確立する。

実験結果

リサーチクエスチョン

• RQ1 計算的・データ的制約に依存しない、線形回帰における標準的リスクと敵対的リスクの根本的トレードオフは何か？
• RQ2 データサイズと品質は、敵対的訓練における標準的・ロバスト精度のトレードオフにどのように影響するか？
• RQ3 モデルの過パrameter化は、標準的リスクとロバストリスクの達成可能なトレードオフにどのような影響を及ぼすか？
• RQ4 現代的なミニマックス敵対的訓練アルゴリズムは、理論的限界に対してどのように性能を発揮するか？
• RQ5 追加のラベルなしデータによってトレードオフを軽減できるか？その影響は漸近的リスク表現にどのように反映されるか？

主な発見

• 高次元的極限において、到達可能な（標準的リスク、敵対的リスク）ペアのパレート最適フロンティアが正確に特徴づけられた。
• 計算的・データ的制限がなくとも、標準的リスクとロバストリスクの間に非自明なトレードオフが存在する。
• 敵対的訓練アルゴリズムは、理論的パレートフロンティア上に位置するリスクペアを達成しており、この状態で最適性を示している。
• トレードオフは比 δ = n/p によって定量的に影響を受けており、δ が小さくなるほど性能が低下する。
• 敵対的訓練における摂動レベル ε は、リッジ回帰における正則化パラメータ λ にマッピング可能であり、直接的な対応関係が明らかになった。
• 固定点方程式系 (6.50) が、γ₀^ε と A^ε の均衡値を決定し、これがリスクトレードオフを完全に特徴づける。