[論文レビュー] Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification

Dan Chen, Yuting Wei+1 more|arXiv (Cornell University)|Jun 29, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用数 6

ひとこと要約

本稿は、敵対的信号対ノイズ比（AdvSNR）の下で、敵対的ロバストなガウス分類のための最初のミニマックス下界を確立し、AdvSNR $r$、次元 $d$、標本サイズ $n$ の下で、余剰リスクの下界が $Θ(e^{-(\frac{1}{8}+o(1))r^{2}}\frac{d}{n})$ のオーダーであることを証明している。さらに、最適なレートを達成する計算的に効率的な推定量を提案し、共分散行列やクラス分離に関する最小限の仮定の下で、$π_p$-ノルムの摂動に対して鋭い統計的保証を提供している。

ABSTRACT

Adversarial robustness has become a fundamental requirement in modern machine learning applications. Yet, there has been surprisingly little statistical understanding so far. In this paper, we provide the first result of the optimal minimax guarantees for the excess risk for adversarially robust classification, under Gaussian mixture model proposed by \cite{schmidt2018adversarially}. The results are stated in terms of the Adversarial Signal-to-Noise Ratio (AdvSNR), which generalizes a similar notion for standard linear classification to the adversarial setting. For the Gaussian mixtures with AdvSNR value of $r$, we establish an excess risk lower bound of order $Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$ and design a computationally efficient estimator that achieves this optimal rate. Our results built upon minimal set of assumptions while cover a wide spectrum of adversarial perturbations including $\ell_p$ balls for any $p \ge 1$.

研究の動機と目的

• 最小限の仮定の下で、敵対的ロバストなガウス分類における余剰リスクの最初のミニマックス下界を確立すること。
• 敵対的信号対ノイズ比（AdvSNR）を用いて、ロバスト分類の統計的限界を特徴付けること。
• 最適なミニマックス収束レートを達成する計算的に効率的な推定量を設計すること。
• $\ell_\infty$-型摂動を超えて、任意の $\ell_p$-ノルム（$p \geq 1$）に一般化すること。
• 条件付きガウスモデルにおけるロバスト性と統計的効率性のトレードオフを包括的に理解すること。

提案手法

• 敵対的摂動を用いて標準分類問題をロバストな問題に変換する変換を用いて、余剰リスクのミニマックス下界を導出する。
• ロバスト性と統計的複雑さを特徴付けるための主要パラメータとして、敵対的信号対ノイズ比（AdvSNR）を導入する。
• $\ell_p$-ノルム球内での敵対的摂動を考慮した制約付き二次計画問題を解くことで、ロバストな分類器を構築する。
• 測度の変更による議論と、標準分布からロバスト分布への写像を用いて、標準的およびロバストな余剰リスクを関連付ける。
• 任意の標準分布が AdvSNR $r$ を持つ場合、同じ信号強度を持つ対応するロバストな分布が存在することを構成的証明により示す。
• 一次最適性条件を用いて、敵対的摂動問題の解が所定のロバスト分類器と一致することを検証する。

実験結果

リサーチクエスチョン

• RQ1 ガウス混合モデル下での敵対的ロバスト分類の根本的統計的限界は何か？
• RQ2 敵対的信号対ノイズ比（AdvSNR）は、ロバスト分類におけるミニマックス余剰リスクにどのように影響するか？
• RQ3 計算的に効率的な推定量が、ロバストなガウス分類設定において最適なミニマックス収束レートを達成できるか？
• RQ4 ロバスト分類の統計的保証は、標準（非敵対的）設定におけるそれらと比べてどのように異なるか？
• RQ5 結果は、任意の $\ell_p$-ノルムの敵対的摂動にどの程度一般化できるか？

主な発見

• 敵対的ロバストなガウス分類における余剰リスクのミニマックス下界は、AdvSNR $r$、次元 $d$、標本サイズ $n$ の下で、$\Omega_P(\exp(-(\frac{1}{8}+o(1))r^2)\frac{d}{n})$ である。
• 余剰リスクが $O_P(\exp(-(\frac{1}{8}+o(1))r^2)\frac{d}{n})$ のオーダーで、下界と下位項を除いて一致する計算的に効率的な推定量が構築された。
• 未知かつ任意の共分散行列、およびクラス分離の要件がないという最小限の仮定の下でも、結果は成り立つ。
• フレームワークは、$\ell_\infty$-型摂動を超えて、すべての $\ell_p$-ノルム（$p \geq 1$）に一般化可能である。
• ロバストな余剰リスクは、変換された分布の標準的余剰リスクによって下から抑えられ、標準分類設定への還元が可能になる。
• 解析により、敵対的ロバスト性は、AdvSNRの二乗に比例して指数的に増大する統計的コストを伴うことが明らかになり、ロバスト性と精度の本質的トレードオフが定量化された。