[論文レビュー] Improved Algorithms for Efficient Active Learning Halfspaces with Massart and Tsybakov noise

Chicheng Zhang, Yinan Li|arXiv (Cornell University)|Feb 10, 2021

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、半空間に対する計算的に効率的なアクティブラーニングアルゴリズムを提示する。このアルゴリズムは、MassartノイズおよびTsybakovノイズの両方を耐えることができ、構造的でないラベルなしデータ分布の下で近似的に最適なラベル複雑度を達成する。本研究は、Massartノイズにおいて情報理論的下界に一致するラベル複雑度を達成する最初の効率的アクティブラーニングアルゴリズムを提供する。また、Tsybakovノイズ下では、パassingラーニングよりも厳密に優れたラベル複雑度を達成する。

ABSTRACT

We give a computationally-efficient PAC active learning algorithm for $d$-dimensional homogeneous halfspaces that can tolerate Massart noise (Massart and N\\'ed\\'elec, 2006) and Tsybakov noise (Tsybakov, 2004). Specialized to the $\\eta$-Massart noise setting, our algorithm achieves an information-theoretically near-optimal label complexity of $\ ilde{O}\\left( \\frac{d}{(1-2\\eta)^2} \\mathrm{polylog}(\\frac1\\epsilon) \ ight)$ under a wide range of unlabeled data distributions (specifically, the family of "structured distributions" defined in Diakonikolas et al. (2020)). Under the more challenging Tsybakov noise condition, we identify two subfamilies of noise conditions, under which our efficient algorithm provides label complexity guarantees strictly lower than passive learning algorithms.

研究の動機と目的

• 半空間に対する計算的に効率的なアクティブラーニングアルゴリズムを設計し、MassartノイズおよびTsybakovノイズに対して耐性を持つこと。
• 広範なラベルなしデータ分布のクラスに対して、Massartノイズ下で情報理論的下界に近いラベル複雑度を達成すること。
• 計算的に効率的なアルゴリズムのもとで、Tsybakovノイズ下でもアクティブラーニングがパassingラーニングを上回るラベル複雑度を達成できることを示すこと。
• 従来の研究から、ラベルなしデータ分布に関する制限の強い仮定（例えば、単位球面上の一様性）を除去すること。

提案手法

• 構造的分布族内で不確実性サンプリングに基づいてラベルを段階的にクエリする、新しいアクティブラーニング戦略を用いる。
• 対象となる分布（例えば、対数凸分布や等方的分布）の幾何学的・確率的性質を活用し、誤差率とラベル複雑度を制御する。
• 濃度不等式と角度-距離関係を用いて、パrameter空間における真の半空間への近接性を維持する。
• マルティングール濃度境界を用いた修正版最適化手順（Optimize）を採用し、高確率収束を保証する。
• データとノイズの幾何構造を特徴付けるパrameter (L, R, U, β) を持つ「よく behaved な」分布の新しい概念を導入する。
• 尾部確率と測度濃縮を組み合わせて、ノイズラベル下での誤分類確率を制御する。

実験結果

リサーチクエスチョン

• RQ1 構造的でないラベルなしデータ分布の広いクラスに対して、Massartノイズ下で近似的に最適なラベル複雑度を達成する、効率的なアクティブラーニングアルゴリズムを設計できるか？
• RQ2 計算的に効率的なアルゴリズムのもとで、Tsybakovノイズ下でもアクティブラーニングはパassingラーニングよりも厳密に優れたラベル複雑度を達成できるか？
• RQ3 単位球面上の一様性という強い仮定を除去しても、Massartノイズ下で依然として最適なラベル複雑度を達成できるか？
• RQ4 Tsybakovノイズ下で、計算的に効率的なアクティブラーニングの達成可能な最良のラベル複雑度の境界は何か？ また、実用的なアルゴリズムでその境界に達成できるか？

主な発見

• 提案アルゴリズムは、η-Massartノイズ条件下で、ラベル複雑度 Õ(d / (1−2η)² · polylog(1/ε)) を達成し、情報理論的下界に対数因子を除いて一致する。
• この境界は、等方的対数凸分布を含む構造的分布族に対して成り立ち、従来の研究が球面上の一様性を仮定していた範囲を超える。
• (A, α)-Tsybakovノイズ条件下では、ノイズがMassartよりも複雑であるにもかかわらず、パassingラーニングよりも厳密に低いラベル複雑度を達成する。
• アルゴリズムは計算的に効率的であり、従来の手法とは異なり、計算的に困難な最適化ステップに依存しない。
• 「よく behaved な」分布に対する新しい濃度不等式を確立し、ラベルクエリの誤差をより厳密に制御できる。
• 結果として、挑戦的なノイズモデル下でも、アクティブラーニングが計算的に効率的かつ統計的に最適であることが示された。