[論文レビュー] A Polynomial Time Algorithm for Learning Halfspaces with Tsybakov Noise

Ilias Diakonikolas, Daniel M. Kane+3 more|arXiv (Cornell University)|Oct 4, 2020

Machine Learning and Algorithms参考文献 55被引用数 9

ひとこと要約

本稿では、Tsybakovノイズモデル下での同次半空間の学習のための最初の多項式時間アルゴリズムを提示する。これは、ラベル反転確率が1/2に近づく可能性がある、極めて困難なノイズ設定である。新たな多項式時間証明可能アルゴリズムを導入し、勝ち負け反復プロセスを活用することで、log-concaveなどの良好な分布下でも効率的な学習が達成され、計算学習理論における長年の未解決問題が解決された。

ABSTRACT

We study the problem of PAC learning homogeneous halfspaces in the presence of Tsybakov noise. In the Tsybakov noise model, the label of every sample is independently flipped with an adversarially controlled probability that can be arbitrarily close to $1/2$ for a fraction of the samples. {\em We give the first polynomial-time algorithm for this fundamental learning problem.} Our algorithm learns the true halfspace within any desired accuracy $ε$ and succeeds under a broad family of well-behaved distributions including log-concave distributions. Prior to our work, the only previous algorithm for this problem required quasi-polynomial runtime in $1/ε$. Our algorithm employs a recently developed reduction \cite{DKTZ20b} from learning to certifying the non-optimality of a candidate halfspace. This prior work developed a quasi-polynomial time certificate algorithm based on polynomial regression. {\em The main technical contribution of the current paper is the first polynomial-time certificate algorithm.} Starting from a non-trivial warm-start, our algorithm performs a novel "win-win" iterative process which, at each step, either finds a valid certificate or improves the angle between the current halfspace and the true one. Our warm-start algorithm for isotropic log-concave distributions involves a number of analytic tools that may be of broader interest. These include a new efficient method for reweighting the distribution in order to recenter it and a novel characterization of the spectrum of the degree-$2$ Chow parameters.

研究の動機と目的

• Tsybakovノイズモデル下での同次半空間のPAC学習のための多項式時間アルゴリズムを開発すること。このモデルでは、一部の例に対してラベルノイズが敵対的に制御可能であり、その確率は1/2に近づく可能性がある。
• 精度パラメータεに依存する事前限界の準多項式時間計算量（quasi-polynomial runtime）という制限を克服し、実用的導入を可能にすること。
• 候補となる半空間の最適性の非成立を証明する問題に還元することで、半空間学習のための新フレームワークを確立すること。
• 効率的な収束を可能にする多項式時間証明可能アルゴリズムを設計し、重度のTsybakovノイズ下でも有効に動作させること。
• 同一直線的log-concave分布や良好に振る舞う分布の族にまで学習アルゴリズムの適用範囲を拡張すること。

提案手法

• 学習問題を、候補となる半空間の最適性の非成立を証明する問題に還元する。これは、事前研究で提示された準多項式時間証明可能アルゴリズムに基づく。
• 勝ち負け反復プロセスを実行する、新規の多項式時間証明可能アルゴリズムを導入する。このプロセスでは、いずれかの有効な証明可能条件を出力するか、現在の重みベクトルと真の重みベクトル間の角度距離を改善する。
• 等方的log-concave分布に特化したウォームスタート手順を採用し、分布の再中心化を実現する新しい効率的リウェートリング技術を用いる。
• 2次チャウパラメータのスペクトルの新たな特徴づけを活用することで、安定的かつ効率的な最適化を可能にする。
• 適応的学習率を用いた確率的勾配降下法を用いて、重みベクトルを反復的に改善する。収束はレグレット解析により保証される。
• 現在の仮説が最適解から遠く離れているかどうかを検証する証明可能オракルを統合し、有効な証明が得られれば早期終了を実現する。

実験結果

リサーチクエスチョン

• RQ1 Tsybakovノイズモデル下で、ラベル反転確率が1/2に限りなく近づく可能性がある状況において、半空間学習のための多項式時間アルゴリズムを設計可能か？
• RQ2 Tsybakovノイズ下でも、log-concave分布などの良好に振る舞う分布において、効率的な学習が可能か？
• RQ3 Tsybakovノイズ下での半空間学習に必要な最小の計算量は何か？ かつ、準多項式時間から多項式時間に低減可能か？
• RQ4 勝ち負け反復フレームワークにおいて、学習プロセスを導くために、非最適性の証明を効率的に計算する方法は何か？
• RQ5 リウェートリングやチャウパラメータのスペクトル解析といった解析的ツールを用いて、ノイズ環境下でも安定的かつ効率的な学習アルゴリズムを設計可能か？

主な発見

• 本稿は、Tsybakovノイズモデル下での同次半空間学習のための最初の多項式時間アルゴリズムを提示し、計算学習理論における長年の未解決問題を解決した。
• 本アルゴリズムは、log-concave分布を含む任意の良好に振る舞う分布下で、高確率で誤差率がε以下に抑えられる。
• 実行時間は次元dおよび1/εの多項式であり、1/εに依存する事前の準多項式時間計算量に比べて顕著に改善された。
• 本手法は、有効な証明可能条件を出力するか、真の半空間への角度距離を改善することで、効率的収束を可能にする新規の多項式時間証明可能アルゴリズムを導入した。
• log-concave分布の場合、角度誤差θ(ŵ, w*)がO(ε / log²(1/ε))に有界であることが保証され、分布固有の誤差バインドにより、0-1誤差がO(ε)にまで低下する。
• 本分析は、2次チャウパラメータのスペクトルの新たな特徴づけと、分布の再中心化を実現する効率的リウェートリング手法に依存しており、これらは独立に価値ある貢献である。