[論文レビュー] Efficiently Learning Adversarially Robust Halfspaces with Noise

Omar Montasser, Surbhi Goel+2 more|arXiv (Cornell University)|May 15, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 5

ひとこと要約

本稿は、$\varepsilon$-ランダムラベルノイズ下での敵対的ロバストなハーフスペースの効率的学習のための必要十分条件を確立し、任意の$\ell_p$-ノイズに対して計算的に効率的なアルゴリズムが存在することを示している。また、摂動集合$\mathcal{U}$の分離オラクルが存在する場合、ロバストな経験的リスク最小化（RERM）が効率的に解けることを証明しており、ロバスト損失を計算するには近似分離オラクルが必要であることを示しており、ノイズのある実現可能設定における効率的ロバストPAC学習を可能にしている。

ABSTRACT

We study the problem of learning adversarially robust halfspaces in the distribution-independent setting. In the realizable setting, we provide necessary and sufficient conditions on the adversarial perturbation sets under which halfspaces are efficiently robustly learnable. In the presence of random label noise, we give a simple computationally efficient algorithm for this problem with respect to any $\ell_p$-perturbation.

研究の動機と目的

• 摂動集合$\mathcal{U}$に対する、ハーフスペースの効率的ロバストPAC学習のための必要十分条件を同定すること。
• 実現可能およびノイズあり設定におけるロバストな経験的リスク最小化（RERM）の計算複雑性を分析すること。
• 集合$\mathcal{U}$に対する効率的分離オラクルがRERMを効率的に可能にすることを確立し、ロバスト損失を計算するには近似分離オラクルが必要であることの証明。
• ランダムラベルノイズモデルに拡張し、弱い仮定のもとで効率的ロバスト学習が可能であることを示すこと。
• 異なるノイズおよび摂動モデル下での、ハーフスペースに対するロバスト学習の tractable と intractable の境界を明確にすること。

提案手法

• 摂動集合$\mathcal{U}$の分離オラクルを用いた多項式時間アルゴリズムを提案し、実現可能ケースにおける効率的ロバスト学習を可能にする。
• ロバスト0-1損失を近似する補助損失関数$G_\lambda^\gamma({\bm{w}}, {\bm{x}})$を介して、ロバストリスク最小化を凸最適化問題に還元する還元法を導入する。
• 正則化された目的関数を用いた確率的ミラー降下法（SMD）を用い、ランダムラベルノイズ下でのロバスト経験的リスクを最小化し、収束保証を達成する。
• マージンに基づく一般化境界を用い、$\gamma/2$-マージン誤り率とロバストリスクおよび補助損失の関係を示す。
• ハーフスペースのロバスト損失を効率的に計算するには、集合$\mathcal{U}$に対する効率的近似分離オラクルが必要であることを確立する。
• アルゴリズムのサンプル複雑度を分析し、ミラー降下法における$q$-ノルム正則化のもとで、$q=1$の場合は$\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2)$、$q>1$の場合は$\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2(q-1))$のサンプル数を示す。

実験結果

リサーチクエスチョン

• RQ1 実現可能設定下でのハーフスペースに対するロバスト経験的リスク最小化（RERM）が効率的に解けるための摂動集合$\mathcal{U}$の条件は何か？
• RQ2 集合$\mathcal{U}$に対する効率的分離オラクルは、ハーフスペースの効率的ロバスト学習にとって必要かつ十分か？
• RQ3 ランダムラベルノイズ下でも、ハーフスペースのロバスト学習は効率的に達成可能か？この設定におけるサンプル複雑度は何か？
• RQ4 ハーフスペースのロバスト損失を計算する計算コストは何か？また、これは$\mathcal{U}$の複雑さとどのように関係するか？
• RQ5 ランダムノイズ下で、ロバスト一般化誤差はマージンに基づく誤差および補助損失とどのように関係するか？

主な発見

• 集合$\mathcal{U}$に対する効率的分離オラクルは、ハーフスペースの多項式時間ロバスト経験的リスク最小化（RERM）を満たす。
• ハーフスペースのロバスト損失を効率的に計算するには、集合$\mathcal{U}$に対する効率的近似分離オラクルが必要である。
• ランダムラベルノイズモデル下では、任意の$\ell_p$-摂動に対して、ハーフスペースは効率的にロバストにPAC学習可能である。
• 提案されたアルゴリズムは、確率的ミラー降下法下で、$q=1$の場合は$\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2)$、$q>1$の場合は$\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2(q-1))$のサンプル複雑度を達成する。
• ロバストリスクは、$\gamma/2$-マージン誤差と補助損失の関数として上界で抑えられ、その上界は$\varepsilon'$、$\lambda$、$\eta$に依存し、ノイズ下での一般化を保証する。
• 解析により、$\lambda = \frac{\varepsilon\gamma/2 + \eta}{1 + \varepsilon\gamma}$および$\varepsilon' = \frac{\varepsilon\gamma(1 - 2\eta)}{2(1 + \varepsilon\gamma)}$とすることで、所望の一般化誤差$\leq \varepsilon$が達成されることを示した。