[論文レビュー] Learning Halfspaces with Tsybakov Noise

Ilias Diakonikolas, Vasilis Kontonis+2 more|arXiv (Cornell University)|Jun 11, 2020

Machine Learning and Algorithms被引用数 7

ひとこと要約

本稿では、Tsybakovノイズモデル下での半空間のための最初の効率的PAC学習アルゴリズムを提示する。誤差εに対して$\tilde{O}(d^{O(1/\mathrm{poly}(\alpha))})$の実行時間を得るため、新規の半定値計画法（SDP）に基づく認証手順とオンライン凸最適化を用いる。構造的分布、特に対数凹型測度を含むクラスにおいて、準多項式時間での学習可能性を確立し、従来の二重指数的境界に対して顕著な改善を達成する。

ABSTRACT

We study the efficient PAC learnability of halfspaces in the presence of Tsybakov noise. In the Tsybakov noise model, each label is independently flipped with some probability which is controlled by an adversary. This noise model significantly generalizes the Massart noise model, by allowing the flipping probabilities to be arbitrarily close to $1/2$ for a fraction of the samples. Our main result is the first non-trivial PAC learning algorithm for this problem under a broad family of structured distributions -- satisfying certain concentration and (anti-)anti-concentration properties -- including log-concave distributions. Specifically, we given an algorithm that achieves misclassification error $ε$ with respect to the true halfspace, with quasi-polynomial runtime dependence in $1/\epsilin$. The only previous upper bound for this problem -- even for the special case of log-concave distributions -- was doubly exponential in $1/ε$ (and follows via the naive reduction to agnostic learning). Our approach relies on a novel computationally efficient procedure to certify whether a candidate solution is near-optimal, based on semi-definite programming. We use this certificate procedure as a black-box and turn it into an efficient learning algorithm by searching over the space of halfspaces via online convex optimization.

研究の動機と目的

• Tsybakovノイズモデル下での半空間の計算的に効率的なPAC学習という、長年の未解決問題に取り組む。これは、高めのノイズ率を許容するMassartノイズを一般化する。
• 従来の$1/\epsilon$に関する二重指数的境界よりも顕著に優れた、明示的な実行時間依存性を有する学習アルゴリズムを開発する。
• 対数凹型や等方的分布を含む広範な構造的分布クラスにおいて、学習可能性を確立する。これらの分布は、濃縮性および反濃縮性の性質を満たす。
• 候補となる半空間の近似的最適性を検証する計算的に効率的な認証手順を設計し、オンライン凸最適化による探索を可能にする。

提案手法

• 真の半空間に関して、候補となる重みベクトルが近似的に最適であるかどうかを判断する、新規の半定値計画法（SDP）に基づく認証手順を提案する。
• オンライン凸最適化フレームワーク内でのブラックボックスオラクルとしてSDP認証を用い、半空間の空間を探索する。
• 認証出力から導出された代理損失関数$\hat{\ell}_t(\mathbf{w})$を用いて最適化プロセスをガイドする。
• 収束を保証するため、適切に設計されたパラメータスケジュールと標本複雑性解析を適用し、誤差$\epsilon$の仮説への収束を達成する。
• 分布の濃縮性および反濃縮性の性質に依存して、誤差を角度距離$\theta(\mathbf{w}^{(t)}, \mathbf{w}^*)$の関数としてバウンドする。
• Tステップにおける和集合を用い、尾確率の境界を適用して、損失関数の経験的推定値の高確率的正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 Tsybakovノイズモデル下で、半空間を計算的に効率的にPAC学習することは可能か？このモデルは、任意に1/2に近いノイズ率を許容する。
• RQ2 この問題に対して、単純なアグノスティック学習への還元を超えて、$1/\epsilon$に関する二重指数的より優れた実行時間依存性を達成することは可能か？
• RQ3 Tsybakovノイズの下で、候補解の近的最適性を検証する計算的に効率的な認証手順を設計することは可能か？
• RQ4 提案されたアルゴリズムは、対数凹型測度などの構造的分布に対して、$1/\epsilon$に関する準多項式時間実行時間依存性を達成するか？

主な発見

• 本稿では、Tsybakovノイズ下での半空間学習において、$d^{O(1/\alpha^2)}$の準多項式的実行時間依存性を達成し、従来の二重指数的境界に対して顕著な改善を実現した。
• 本アルゴリズムは、対数凹型および等方的分布を含む広範な構造的分布クラスにおいて、この問題に対して非自明な実行時間保証を提供する最初のものである。
• 主な技術的貢献は、候補解の近的最適性を効率的に検証可能にする新規のSDPベースの認証手順である。
• 誤差$\epsilon$を高確率で達成するため、$d^{O(k)}\log(1/\delta)$の標本数を用いる。ここで$k = \Theta(1/\alpha^2 \log(1/\epsilon))$であり、結果として準多項式的標本複雑性が得られる。
• $(L,R,U,B,\beta)$-有界分布に対して、本アルゴリズムは標本複雑性$d^{O(1/\alpha^2)}\log(1/\delta)$で$\mathrm{err}_{0-1} \leq \epsilon$を達成し、従来の境界を改善する。
• 解析により、オンライン凸最適化フレームワークとSDP認証の組み合わせが、定数レグレットバウンドをもたらし、真の重みベクトルからの角度距離$\epsilon$以内の仮説への収束を保証することが示された。