[論文レビュー] Distribution-Independent PAC Learning of Halfspaces with Massart Noise

Ilias Diakonikolas, Themis Gouleakis+1 more|arXiv (Cornell University)|Jun 24, 2019

Machine Learning and Algorithms参考文献 39被引用数 12

ひとこと要約

この論文は、マサールノイズ下での半空間の分布独立的PAC学習のための初の多項式時間アルゴリズムを提示する。誤分類誤差は $ \eta + \epsilon$ に達し、$ \mathrm{poly}(d, 1/ \epsilon)$ 時間で実行される。この手法は凸最適化と、敵対的ノイズ率が $ \eta < 1/2$ で制限される新しいロバスト推定フレームワークを組み合わせており、計算学習理論における長年の未解決問題を解決する。

ABSTRACT

We study the problem of {\em distribution-independent} PAC learning of halfspaces in the presence of Massart noise. Specifically, we are given a set of labeled examples $(\mathbf{x}, y)$ drawn from a distribution $\mathcal{D}$ on $\mathbb{R}^{d+1}$ such that the marginal distribution on the unlabeled points $\mathbf{x}$ is arbitrary and the labels $y$ are generated by an unknown halfspace corrupted with Massart noise at noise rate $η&lt;1/2$. The goal is to find a hypothesis $h$ that minimizes the misclassification error $\mathbf{Pr}_{(\mathbf{x}, y) \sim \mathcal{D}} \left[ h(\mathbf{x}) eq y ight]$. We give a $\mathrm{poly}\left(d, 1/ε ight)$ time algorithm for this problem with misclassification error $η+ε$. We also provide evidence that improving on the error guarantee of our algorithm might be computationally hard. Prior to our work, no efficient weak (distribution-independent) learner was known in this model, even for the class of disjunctions. The existence of such an algorithm for halfspaces (or even disjunctions) has been posed as an open question in various works, starting with Sloan (1988), Cohen (1997), and was most recently highlighted in Avrim Blum's FOCS 2003 tutorial.

研究の動機と目的

• マサールノイズ下での半空間の効率的かつ分布独立的弱学習が可能かどうかという未解決問題を解消すること。
• 任意の $\eta < 1/2$ に対して、誤分類誤差 $\\eta + \epsilon$ を達成する多項式時間アルゴリズムを提供すること、これは入力の周辺分布が任意であっても成立する。
• マサールノイズ下での分布フリーPACモデルにおける半空間学習のための最初の非自明なアルゴリズム的保証を確立すること。
• 誤差境界を $\eta + \epsilon$ よりも良くするには計算的に困難である可能性があるという証拠を提供すること。

提案手法

• 学習目的関数のロバスト性を保証するため、凸な代替損失関数 $\phi$ を用いて正則化を行う。
• ラベル付き例の上での代替損失の勾配を分析することで、低誤差の仮説を特定する、新しいロバスト推定技術を採用する。
• 誤差の最悪ケース行動の解析を可能にするために、マージンとノイズが制御された $\mathbb{R}^d$ 内の点の分布を構築する。
• 凸最適化で訓練された線形分類器の出力に対してしきい値処理を施すことで、最終的な仮説が半空間であることを保証する。
• 非対称ノイズ下での代替関数 $\phi$ の導関数の性質を用いて、誤分類誤差の上限を導出する。
• 特定の条件下で、凸代替関数の最小化としきい値処理に基づく任意のアルゴリズムは、最悪ケースで $\eta + \Omega(\eta)$ より良い誤差を達成できないことを証明する。

実験結果

リサーチクエスチョン

• RQ1 入力分布が任意で、ラベルノイズが $\eta < 1/2$ で制限されるマサールノイズ下で、半空間のための効率的かつ分布独立的弱学習器を設計可能か？
• RQ2 マサールノイズモデル下で、$ \mathrm{OPT} \leq \eta$ の条件下で、誤分類誤差を $ \mathrm{OPT} + \epsilon$ に抑える多項式時間アルゴリズムを実現可能か？
• RQ3 この設定において、誤差保証を $\eta + \epsilon$ よりも良くするには、根本的な計算的障壁があるか？
• RQ4 同じアルゴリズムフレームワークを、正しい学習（すなわち、最適な半空間に近い誤差を持つ半空間仮説を出力する）に拡張可能か？
• RQ5 マサールモデルにおける敵対的ノイズを扱う凸最適化ベースの手法の限界は何か？

主な発見

• 本論文は、任意の $\eta < 1/2$ に対して誤分類誤差 $\eta + \epsilon$ を達成する多項式時間アルゴリズムを提示する。実行時間は $\mathrm{poly}(d, b, 1/\epsilon)$ であり、$b$ は例のビット複雑度を表す。
• このアルゴリズムは分布独立的であり、$\mathbb{R}^d$ 上の入力空間の任意の周辺分布に対して有効であるため、長年の未解決問題を解決する。
• 凸代替関数の最小化としきい値処理に基づく任意のアルゴリズムが、最悪ケースで $\eta + \Omega(\eta)$ より良い誤差を達成できないことを示す下界を提供する。これは、このようなアプローチの本質的限界を示唆する。
• この結果は、スローン（1988年）、コーエン（1997年）、アブリム・ブルーム（2003年）が提起した、マサールノイズ下での論理和と半空間の弱学習に関する未解決問題を解決する。
• 構築された下界例に基づき、誤差保証を $\mathrm{OPT} + \epsilon$ に改善することは計算的に困難である可能性があるという証拠を提供する。
• この手法は半空間に限定されず、より広い線形しきい値関数のクラスに対しても適用可能であり、マサールノイズ下での他の概念クラスへの拡張も可能である。