[論文レビュー] Revisiting Perceptron: Efficient and Label-Optimal Learning of Halfspaces

Songbai Yan, Chicheng Zhang|arXiv (Cornell University)|Feb 18, 2017

Machine Learning and Algorithms参考文献 31被引用数 8

ひとこと要約

本稿では、単位球面上の一様分布の下で同次半空間を学習するための効率的なアクティブラーニングアルゴリズム、Active-Perceptron を提案する。$ ilde{O}\left(\frac{d}{(1-2\eta)^2}\ln\frac{1}{\epsilon}\right)$ の近似的に最適なラベル複雑度を、$\eta$-有界ノイズ下で達成し、$\tilde{O}\left(d\ln\frac{1}{\epsilon}\right)$ を敵対的ノイズ下で達成する。実行時間は $ ilde{O}\left(\frac{d^2}{(1-2\eta)^3\epsilon}\right)$ であり、計算的に効率的でラベル最適な半空間学習に関する未解決問題を解決する。

ABSTRACT

It has been a long-standing problem to efficiently learn a halfspace using as few labels as possible in the presence of noise. In this work, we propose an efficient Perceptron-based algorithm for actively learning homogeneous halfspaces under the uniform distribution over the unit sphere. Under the bounded noise condition~\cite{MN06}, where each label is flipped with probability at most $η< \frac 1 2$, our algorithm achieves a near-optimal label complexity of $ ilde{O}\left(\frac{d}{(1-2η)^2}\ln\frac{1}ε ight)$ in time $ ilde{O}\left(\frac{d^2}{ε(1-2η)^3} ight)$. Under the adversarial noise condition~\cite{ABL14, KLS09, KKMS08}, where at most a $ ilde Ω(ε)$ fraction of labels can be flipped, our algorithm achieves a near-optimal label complexity of $ ilde{O}\left(d\ln\frac{1}ε ight)$ in time $ ilde{O}\left(\frac{d^2}ε ight)$. Furthermore, we show that our active learning algorithm can be converted to an efficient passive learning algorithm that has near-optimal sample complexities with respect to $ε$ and $d$.

研究の動機と目的

• ノイズ下で最小限のラベルクエリを用いて計算的に効率的なアクティブラーニングアルゴリズムとしての半空間学習のための開発に取り組むこと。
• ノイズ下の半空間学習において、計算的に効率的なアルゴリズムと最適なラベル複雑度のギャップを埋めること。
• 標準的な2つのノイズモデル、有界ノイズ（Massart）および敵対的ノイズ下で、近似的に最適なラベル複雑度を達成すること。
• 提案されたアクティブラーニングアルゴリズムが、近似的に最適なサンプル複雑度を持つ効率的なパassiveラーニングアルゴリズムに変換可能であることを示すこと。

提案手法

• 古典的なパーセプトロンに基づくが、アクティブサンプリングとノイズ耐性機構を強化したアクティブラーニングアルゴリズム、Active-Perceptron を提案する。
• ラベルクエリを最小限に抑えるために、不確実性とマージンに基づいて例を選択する新しいアクティブサンプリング戦略を用いる。
• ラベルノイズを考慮するために、予測の一貫性と信頼度のしきい値に注目する、修正されたパーセプトロン更新ルールを採用する。
• 情報理論的バウンドとKLダイバージェンスを用いた理論的分析フレームワークを導入し、ラベル複雑度の下界を導出する。
• 仮説検定からの還元技術を適用し、有界ノイズ下でのラベル複雑度の情報理論的下界を証明する。
• アクティブ選択プロセスを固定されたクエリセットでシミュレートすることで、アクティブラーニングアルゴリズムをパassiveラーニングバージョンに変換し、サンプル複雑度を保持する。

実験結果

リサーチクエスチョン

• RQ1 パーセプトロンに基づくアルゴリズムをどのように変更すれば、有界ノイズ下で近似的に最適なラベル複雑度を達成しつつ、計算的に効率的であるか？
• RQ2 多項式時間実行が保証されるアクティブラーニングアプローチを用いて、敵対的ノイズ下で近似的に最適なラベル複雑度を達成することは可能か？
• RQ3 有界ノイズ下での半空間学習のための情報理論的下界は何か？ そして、それが実用的なアルゴリズムによって達成可能か？
• RQ4 半空間用のアクティブラーニングアルゴリズムは、$d$ および $\epsilon$ に関して近似的に最適なサンプル複雑度を持つ効率的なパassiveラーニングアルゴリズムに変換可能か？

主な発見

• Active-Perceptron アルゴリズムは、$\eta$-有界ノイズ下で $\tilde{O}\left(\frac{d}{(1-2\eta)^2}\ln\frac{1}{\epsilon}\right)$ のラベル複雑度を達成し、これはほぼ最適である。
• アルゴリズムの実行時間は $\tilde{O}\left(\frac{d^2}{(1-2\eta)^3\epsilon}\right)$ であり、$\frac{1}{(1-2\eta)^4}$ に指数的依存を示す先行研究に比べて顕著に改善されている。
• 敵対的ノイズ下では、$\tilde{O}\left(d\ln\frac{1}{\epsilon}\right)$ のラベル複雑度と $\tilde{O}\left(\frac{d^2}{\epsilon}\right)$ の実行時間を達成し、両方ともほぼ最適である。
• 情報理論的下界として $\Omega\left(\frac{d}{(1-2\eta)^2}\ln\frac{1}{\epsilon}\right)$ が確立され、ラベル複雑度がほとんどタイトであることが示された。
• アルゴリズムのアクティブラーニングフレームワークは、$d$ および $\epsilon$ に関して近似的に最適なサンプル複雑度を持つパassiveラーニングアルゴリズムに変換可能である。
• 理論的分析により、提案されたアルゴリズムが、ノイズ下での半空間学習において計算的効率性とラベル最適性の両方を達成するという未解決問題を解決していることが確認された。