[論文レビュー] Provable tradeoffs in adversarially robust classification

Edgar Dobriban, Hamed Hassani+2 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Statistical Methods and Models被引用数 4

ひとこと要約

本稿は、$\varepsilon$-有界 $\ell_2$ および $\ell_\infty$ の敵対的摂動下における二クラスおよび三クラスのガウス混合モデルに対して、証明可能に最適なロバストな分類器を導出しており、標準的精度とロバスト精度の間の根本的で、クラスの不均衡に伴い悪化するトレードオフを明らかにしている。ロバスト等周問題とガウス測度集中の道具を用いて、正確なベイズ最適解と有限標本における経験的ロバストリスク最小化の収束速度を確立している。

ABSTRACT

It is well known that machine learning methods can be vulnerable to adversarially-chosen perturbations of their inputs. Despite significant progress in the area, foundational open problems remain. In this paper, we address several key questions. We derive exact and approximate Bayes-optimal robust classifiers for the important setting of two- and three-class Gaussian classification problems with arbitrary imbalance, for $\ell_2$ and $\ell_\infty$ adversaries. In contrast to classical Bayes-optimal classifiers, determining the optimal decisions here cannot be made pointwise and new theoretical approaches are needed. We develop and leverage new tools, including recent breakthroughs from probability theory on robust isoperimetry, which, to our knowledge, have not yet been used in the area. Our results reveal fundamental tradeoffs between standard and robust accuracy that grow when data is imbalanced. We also show further results, including an analysis of classification calibration for convex losses in certain models, and finite sample rates for the robust risk.

研究の動機と目的

• クラスの不均衡下における敵対的ロバスト分類における標準的精度とロバスト精度の根本的トレードオフを理解すること。
• 任意のクラス不均衡を伴う二クラスおよび三クラスのガウスモデルに対して、正確なベイズ最適ロバスト分類器を導出すること。
• ロバストリスクの最適化の多様性と凸な代替損失関数との関係を分析すること。
• 低次元設定における経験的ロバストリスク最小化の有限標本収束速度を提供すること。

提案手法

• ロバスト等周問題とガウス測度集中の手法を用いて、$\ell_2$ および $\ell_\infty$ 摂動下での最適意思決定境界を特徴づけた。
• ガウス等周問題における極値集合を解くことで、正確なベイズ最適ロバスト分類器を導出し、最適意思決定が局所的な尤度ではなく、グローバルなデータ構造に依存することを示した。
• Dvoretzky–Kiefer–Wolfowitzの不等式を用いて、一次元において高々 $k$ 個の区間領域を持つ分類器の上での経験的ロバストリスクの一様集中を確立した。
• 凸な代替損失関数（例：ハッチン、ロジスティック）の最適化子が、考察対象のモデル下で非凸なロバスト0-1損失と一致することを証明した。
• 摂動半径 $\varepsilon$、クラスの平均、クラスの事前確率を関数としてロバストリスクを分析し、トレードオフを定量化した。
• 一次元データにおいて、高々 $2k$ 個の区間領域を持つ分類器の上での経験的ロバストリスクの有限標本収束速度を $O(k/\sqrt{n})$ として確立した。

実験結果

リサーチクエスチョン

• RQ1 二クラスおよび三クラスのガウスモデルにおいて、クラスの不均衡を伴う $\ell_2$ および $\ell_\infty$ 敵対的攻撃下でのベイズ最適ロバスト分類器の正確な形は何か？
• RQ2 クラスの不均衡は、敵対的環境下での標準的精度とロバスト精度の根本的トレードオフにどのように影響するか？
• RQ3 ガウス混合モデルにおいて、ロバスト学習における凸な代替損失関数は、非凸なロバスト0-1損失と同じ最適分類器をもたらすか？
• RQ4 一次元設定における線形および区分定数分類器の経験的ロバストリスク最小化の有限標本収束速度は何か？
• RQ5 意思決定領域の $\ell_p$-ボール拡張の幾何構造は、ガウスモデルにおけるロバストリスクにどのように影響するか？

主な発見

• ロバスト等周問題によるグローバルな幾何的解析が不可欠であり、$\ell_2$ および $\ell_\infty$ 摂動下のガウス混合モデルにおけるベイズ最適ロバスト分類器は、点ごとの分析では決定できない。
• 標準的精度とロバスト精度の間には根本的なトレードオフが存在し、クラス不均衡が進行するにつれて悪化し、両者の同時最適化は不可能である。
• 一次元データにおいて、高々 $2k$ 個の区間領域を持つ分類器の上での経験的ロバストリスクは、$O(k/\sqrt{n})$ のレートで一様に収束する。
• 考察対象のガウスモデル下で、凸な代替損失関数（例：ハッチン、ロジスティック）の最適化子は非凸なロバスト0-1損失と一致し、最適意思決定ルールが同等であることを示唆している。
• $\varepsilon$-拡張における半空間の性質は半空間のままであり、線形分類器のためのVC次元に基づく一様集中の議論が可能である。
• 高々 $k$ 個の区間領域を持つ分類器のロバストリスクは、確率 $1 - 4\exp(-2n\delta^2/k^2)$ で一様に $O(k/\sqrt{n})$ のレートで集中する。