[論文レビュー] Active and passive learning of linear separators under log-concave distributions

Maria Florina Balcan, Philip M. Long|arXiv (Cornell University)|Nov 6, 2012

Machine Learning and Algorithms被引用数 17

ひとこと要約

この論文は、ほぼ対数凹型分布の下で、ホモジニアス線形分離器に対するアクティブラーニングが、パッシブPACラーニングに比べて指数的サンプル複雑性の向上を達成することを確立している。近似的に対数凹型分布の下で、計算的に効率的なPACアルゴリズムを導入し、単位球内の均一分布におけるサンプル効率に関する長年の未解決問題を解消するとともに、一般で自然なデータ分布下での無限個の仮説関数クラスに対してタイトな境界を提供している。

ABSTRACT

We provide new results concerning label efficient, polynomial time, passive and active learning of linear separators. We prove that active learning provides an exponential improvement over PAC (passive) learning of homogeneous linear separators under nearly log-concave distributions. Building on this, we provide a computationally efficient PAC algorithm with optimal (up to a constant factor) sample complexity for such problems. This resolves an open question concerning the sample complexity of efficient PAC algorithms under the uniform distribution in the unit ball. Moreover, it provides the first bound for a polynomial-time PAC algorithm that is tight for an interesting infinite class of hypothesis functions under a general and natural class of data-distributions, providing significant progress towards a longstanding open question. We also provide new bounds for active and passive learning in the case that the data might not be linearly separable, both in the agnostic case and and under the Tsybakov low-noise condition. To derive our results, we provide new structural results for (nearly) log-concave distributions, which might be of independent interest as well.

研究の動機と目的

• 単位球内の均一分布下での効率的PACラーニングのサンプル複雑性に関する未解決問題を解消すること。
• ほぼ対数凹型分布の下で、アクティブラーニングがパッシブPACラーニングに比べてサンプル効率を指数的に向上させることを確立すること。
• 一般で自然なデータ分布下での線形分離器に対するタイトで計算的に効率的なPACラーニングアルゴリズムを提供すること。
• 非分離可能な設定、特にアグノスティックラーニングおよびTsybakov低ノイズ条件への拡張をすること。
• 理論的分析を支援する、ほぼ対数凹型分布の新しい構造的性質を導出すること。

提案手法

• ほぼ対数凹型分布の構造的性質を活用して、証明可能なサンプル複雑性の低減を実現する新規なアクティブラーニングアルゴリズムを設計する。
• 定数要因まで最適なサンプル複雑性を達成する計算的に効率的なPACラーニングアルゴリズムを導入する。
• 与えられた分布仮定のもとで、情報量の多いサンプルを適応的にクエリするマージンベースのアクティブラーニング戦略を採用する。
• Tsybakov低ノイズ条件を適用して、非分離可能な設定における一般化誤差をバインドする。
• 弱い仮定のもとで収束を保証するため、分布固有のサンプリング戦略を用いた経験的リスク最小化（ERM）を用いる。
• 理論的保証を支援するため、ほぼ対数凹型測度に対する新しい集中および反集中不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 ほぼ対数凹型分布の下で、線形分離器に対するアクティブラーニングは、パッシブPACラーニングに比べて指数的サンプル複雑性の改善を達成できるか？
• RQ2 単位球内の均一分布下での線形分離器の効率的PACラーニングにおける最適なサンプル複雑性は何か？
• RQ3 一般のデータ分布下で、無限個の仮説関数クラスに対してタイトで計算的に効率的なPAC境界を確立できるか？
• RQ4 アグノスティックラーニングおよびTsybakov低ノイズ設定下での非線形分離可能なデータへ結果をどのように拡張できるか？
• RQ5 サンプル効率の向上を可能にする、ほぼ対数凹型分布の新しい構造的性質は何か？

主な発見

• ほぼ対数凹型分布の下で、ホモジニアス線形分離器に対するアクティブラーニングは、パッシブPACラーニングに比べてサンプル複雑性において指数的向上を達成する。
• 本論文は、単位球内の均一分布下での線形分離器の学習に対して、初めてのタイトで多項式時間のPACアルゴリズムを提供し、長年の未解決問題を解消した。
• 提案されたアルゴリズムは、定数要因まで最適なサンプル複雑性を達成しており、計算学習理論における長年の未解決問題に対する顕著な進展を示している。
• ほぼ対数凹型分布に対する新しい構造的結果が導出され、高次元確率および学習理論において独立に興味深い可能性を示している。
• フレームワークは非分離可能な設定へも拡張可能であり、アグノスティックラーニングおよびTsybakov低ノイズ条件の下で新たな境界を提供している。
• 理論的分析により、提案されたアクティブラーニング戦略が、特に有利なデータ分布下で、パッシブラーニングに比べてラベル付き例の数を顕著に削減できることを示している。