[論文レビュー] The Complexity of Adversarially Robust Proper Learning of Halfspaces with Agnostic Noise

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Jul 30, 2020

Machine Learning and Algorithms参考文献 59被引用数 4

ひとこと要約

本稿は、一般化PACモデルにおける分布独立な敵対的ロバストな適切な学習の半空間について、$L_p$ノルムの摂動下での計算複雑性を確立する。$p \geq 2$ における $L_p$-マージン学習に対して計算的に効率の良い学習アルゴリズムを提示し、ほぼ一致する下界の結果を示しており、$2 \leq p < \infty$ における $L_\infty$ の場合が $L_p$ よりも明確に計算的に難しいことを示しており、これらのノルム間における計算の難易度の根本的な隔たりを浮き彫りにしている。

ABSTRACT

We study the computational complexity of adversarially robust proper learning of halfspaces in the distribution-independent agnostic PAC model, with a focus on $L_p$ perturbations. We give a computationally efficient learning algorithm and a nearly matching computational hardness result for this problem. An interesting implication of our findings is that the $L_{\infty}$ perturbations case is provably computationally harder than the case $2 \leq p &lt; \infty$.

研究の動機と目的

• 分布独立な一般化PACモデルにおける敵対的ロバストな適切な半空間学習の計算複雑性を理解すること。
• $L_p$摂動下での問題を分析し、特に $L_2$ と $L_\infty$ ノルムの違いに注目すること。
• ロバスト学習におけるほぼ一致する計算下界の結果を確立し、$2 \leq p < \infty$ において $L_\infty$-ロバスト学習が $L_p$-ロバスト学習よりも明確に計算的に難しいことを示すこと。
• ロバスト性と誤差の保証をわずかに緩めることで、既知の下界結果と効率的アルゴリズムの間のギャップを埋め、効率的な適切な学習を可能にすること。

提案手法

• 著者らは、$1/p + 1/q = 1$ を満たす $L_p$ と $L_q$ ノルムの双対性を活用し、ロバスト学習問題を、$L_p$ マージンを伴う古典的な半空間の一般化PAC適切学習問題に還元する。
• 彼らは、摂動半径をわずかに縮小した $(1-\nu)\gamma$ の範囲内で半空間仮説を出力する計算的に効率の良い学習アルゴリズムを設計し、最適なロバスト誤差に対して $\alpha$-近似を達成する。
• 下界の結果は、ラベルカバー問題への還元により導出され、確率的解析を用いてラベルカバーインスタンスの頂点がランダム割り当てによって弱く被覆される確率を評価する。
• 解析では、ラベル付け $\phi$ の期待弱値を、次数制約と隣接頂点ペアに関する組合せ的評価を用いて評価する。
• 還元は近似比を保存するように構築されており、任意の効率的アルゴリズムが2より良い近似比を達成できるならば、Gap-ETHのもとでラベルカバーの近似不可能性と矛盾することを示している。
• 証明技法は、確率的補題と集中不等式に依拠しており、高き弱値を持つラベル付けが存在することを示し、それが学習問題における良好な仮説の存在を示唆する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバストな適切な半空間学習が、$2 \leq p < \infty$ における $L_p$ 摂動下で計算的に実行可能か？
• RQ2 $L_\infty$-ロバストな半空間学習の計算複雑性は、$2 \leq p < \infty$ における $L_p$-ロバスト学習と比べてどの程度異なるか？
• RQ3 下界結果を2より良い近似比を除外するように強化できるか、あるいはより大きなマージンギャップへ拡張できるか？
• RQ4 Gap-ETHのもとでの下界結果はタイトか、それともより弱い指数時間仮説（ETH）のもとでも証明可能か？
• RQ5 この問題に対して、非適切な学習アルゴリズムは適切な学習者よりも著しく速い実行時間を持つことができるか？

主な発見

• 本稿は、$p \geq 2$ における $L_p$-マージン半空間学習に対して、計算的に効率の良い適切な学習アルゴリズムを提示し、摂動半径をわずかに縮小した $(1-\nu)\gamma$ の範囲内で最適なロバスト誤差に対して $\alpha$-近似を達成する。
• ほぼ一致する計算下界の結果が確立され、$2 \leq p < \infty$ において $L_\infty$-ロバスト学習が $L_p$-ロバスト学習よりも明確に計算的に難しいことが示されており、これらのノルム間における根本的な複雑性のギャップを示している。
• 下界結果はラベルカバー問題への還元に基づくもので、標準的な複雑性仮定のもとでは、任意の効率的アルゴリズムが2より良い近似比を達成することは不可能であることが示されており、ロバスト性を緩めた場合でも同様である。
• ラベルカバーインスタンスにおけるランダムラベル付けの期待弱値は、$\mu = \frac{0.01t}{\Delta(\Delta-1)}$ 以上に下界され、高き弱値を持つラベル付けが存在することを示し、それが学習問題における良好な仮説に対応する。
• この結果は、$2 \leq p < \infty$ において、$L_\infty$-マージン設定が $L_p$ よりも本質的に複雑であることを示しており、両者とも同様のロバスト学習問題の一般クラスに属するにもかかわらず、その複雑性に根本的な差があることを示している。
• 本稿は、ETHのもとでのより強い下界結果の可能性や、非適切な学習アルゴリズムによるより速い実行時間の可能性を未解決のまま残しており、今後の研究の方向性を示唆している。