[論文レビュー] Hardness of Learning Halfspaces with Massart Noise.

Ilias Diakonikolas, Daniel M. Kane|arXiv (Cornell University)|Dec 17, 2020

Machine Learning and Algorithms参考文献 57被引用数 13

ひとこと要約

この論文は、Massartノイズ下でのハーフスペースの学習において、情報理論的に最適な誤差と多項式時間の統計的クエリ（SQ）アルゴリズムが達成可能な最良の誤差の間の指数的ギャップを確立する。多項式時間のSQアルゴリズムが最適誤差を任意の多項式要因内で近似できないことを証明し、計算学習理論における長年の未解決問題を解決する。

ABSTRACT

We study the complexity of PAC learning halfspaces in the presence of Massart (bounded) noise. Specifically, given labeled examples $(x, y)$ from a distribution $D$ on $\mathbb{R}^{n} imes \{ \pm 1\}$ such that the marginal distribution on $x$ is arbitrary and the labels are generated by an unknown halfspace corrupted with Massart noise at rate $\eta<1/2$, we want to compute a hypothesis with small misclassification error. Characterizing the efficient learnability of halfspaces in the Massart model has remained a longstanding open problem in learning theory. Recent work gave a polynomial-time learning algorithm for this problem with error $\eta+\epsilon$. This error upper bound can be far from the information-theoretically optimal bound of $\mathrm{OPT}+\epsilon$. More recent work showed that {\em exact learning}, i.e., achieving error $\mathrm{OPT}+\epsilon$, is hard in the Statistical Query (SQ) model. In this work, we show that there is an exponential gap between the information-theoretically optimal error and the best error that can be achieved by a polynomial-time SQ algorithm. In particular, our lower bound implies that no efficient SQ algorithm can approximate the optimal error within any polynomial factor.

研究の動機と目的

• Massartノイズ下でのハーフスペースのPAC学習の複雑さを解明すること。これは学習理論における長年の未解決問題である。
• 有界ノイズの下で、効率的なアルゴリズムが情報理論的に最適な境界に近い誤差を達成できるかどうかを特定すること。
• この学習問題に対する多項式時間SQアルゴリズムの性能に関するタイトな下界を確立すること。
• 効率的なSQアルゴリズムが達成可能な最良の誤差が、最適誤差に対して指数的に劣っていることを示すこと。

提案手法

• 著者たちは、Massartノイズ下でのハーフスペースの学習における統計的クエリ（SQ）モデルの限界を分析する。
• 任意のSQアルゴリズムが部分的に最適でない誤差を達成するために指数的に多くのクエリを必要とするような、難しい分布族を構築する。
• ノイズ率とSQアルゴリズムのクエリ複雑度の関係を示す、新しい複雑性理論的議論に依拠する。
• 難しい学習問題からハーフスペース学習タスクへの還元を用い、後者を効率的に解けるならば前者も解けることを示す。
• SQクエリを介して学習可能な任意の仮説と、ターゲットハーフスペースとの相関を制限する分析を実施する。
• 鍵となる技術的要素は、最適な仮説が低誤差を持つが、効率的なSQアルゴリズムではそれを発見できないような、ラベル付き例の分布の構築である。

実験結果

リサーチクエスチョン

• RQ1 多項式時間のSQアルゴリズムは、Massartノイズ下でのハーフスペース学習において、情報理論的に最適な誤差に近い誤差を達成できるか？
• RQ2 最適誤差を多項式要因内で近似できるかどうかの計算的障壁は本質的であるか？
• RQ3 Massartノイズモデルにおいて、任意の効率的SQアルゴリズムが達成可能な最良の誤差バウンドは何か？
• RQ4 誤差がη+εである多項式時間アルゴリズムの存在は、より良い誤差バウンドが計算的に実現可能であることを示唆するか？

主な発見

• 多項式時間のSQアルゴリズムは、Massartノイズモデルにおいて、最適誤差よりも指数的に悪い誤差しか達成できない。
• 情報理論的に最適な誤差と、SQアルゴリズムが達成可能な最良の誤差の間のギャップは指数的である。
• これは、最適誤差を任意の多項式要因内で近似することですら、SQモデルにおいて計算的に不可能であることを示唆する。
• この結果により、正確な学習（OPT+εを達成すること）がSQモデルで不可能であることが示され、長年の未解決問題が解決された。
• ノイズ率ηが1/2から離れている場合でも、この下界は成り立つため、効率的学習に対する根本的な障壁を示している。