[論文レビュー] The Power of Localization for Efficiently Learning Linear Separators with Noise

Pranjal Awasthi, Maria Florina Balcan+1 more|arXiv (Cornell University)|Jul 31, 2013

Machine Learning and Algorithms参考文献 52被引用数 5

ひとこと要約

本稿は、悪意のあるおよび敵対的なラベルノイズの下で線形分離器を学習するための新しい局所化ベースのアプローチを導入し、等方的で対数凹型および一様分布に対して最適な Ω(ǫ) のノイズ耐性を達成する多項式時間アルゴリズムを実現した。この手法は、段階的局所化、スケーリングされたヒンジ損失の最小化、およびソフトな外れ値除去を組み合わせることで、ノイズのある線形分離器に対する初めての多項式時間アクティブラーニングアルゴリズムを実現し、パasiveな手法と比較してラベル複雑度が指数的に優れている。

ABSTRACT

We introduce a new approach for designing computationally efficient and noise tolerant algorithms for learning linear separators. We consider the malicious noise model of Valiant [41, 32] and the adversarial label noise model of Kearns, Schapire, and Sellie [34]. For malicious noise, where the adversary can corrupt an <em>η</em> of fraction both the label part and the feature part, we provide a polynomial-time algorithm for learning linear separators in R^<em>d</em> under the uniform distribution with nearly information-theoretically optimal noise tolerance of <em>η</em> = Ω(<em>ε</em>), improving on the Ω(&amp;epsilon/d^1/4) noise-tolerance of [31] and the Ω(ε²/log(d/ε) of [35]. For the <em>adversarial label noise</em>model, where the distribution over the feature vectors is unchanged, and the overall probability of a noisy label is constrained to be at most <em>η</em>, we give a polynomial-time algorithm for learning linear separators in R^<em>d</em> under the uniform distribution that can also handle a noise rate of <em>η</em> = Ω(<em>ε</em>). This improves over the results of [31] which either required runtime super-exponential in 1/<em>ε</em> (ours is polynomial in 1/<em>ε</em>) or tolerated less noise. In the case that the distribution is isotropic log-concave, we present a polynomial-time algorithm for the malicious noise model that tolerates Ω(ε/log²(1/ε)) noise, and a polynomial-time algorithm for the adversarial label noise model that also handles Ω(ε/log²(1/ε)) noise. Both of these also improve on results from [35]. In particular, in the case of malicious noise, unlike previous results, our noise tolerance has no dependence on the dimension <em>d</em> of the space. Our algorithms are also efficient in the active learning setting, where learning algorithms only receive the classifications of examples when they ask for them. We show that, in this model, our algorithms achieve a label complexity whose dependence on the error parameter <em>ε</em> is polylogarithmic (and thus exponentially better than that of any passive algorithm). This provides the first polynomial time active learning algorithm for learning linear separators in the presence of malicious noise or adversarial label noise.

研究の動機と目的

• 悪意のあるノイズ（特徴量およびラベルの改ざん）と敵対的ラベルノイズの両方に耐性を持つ、計算的に効率的な学習アルゴリズムの設計。
• 等方的対数凹型および一様分布の下での線形分離器のノイズ耐性保証の向上。
• 悪意あるまたは敵対的なラベルノイズの下での線形分離器に対する、初めての多項式時間アクティブラーニングアルゴリズムの開発。
• 誤差パラメータ ǫ に対して多項対数的依存性を有するラベル複雑度を達成し、パasiveな学習法と比較して指数的に優れた性能を実現。

提案手法

• 事前データに基づく高い信頼性を持つ領域に、仮説空間を段階的に絞り込むために、攻撃的な局所化を用いる。
• ノイズ状態下でのロバストネスと収束性を向上させるために、段階的にスケーリングされたヒンジ損失関数を最小化する。
• ノイズの例を硬く除外せずに、適応的に特定して重みを下げることを可能にする、新しい局所化およびソフトな外れ値除去手順を実装する。
• 分布固有の性質（例：等方的対数凹型、単位球面上の一様性）を活用して、真のハイパーハイパーパラメータがデータクラスタに近い可能性が高いことを保証し、効果的な局所化を可能にする。
• 情報の得られる領域からのみラベルを問い合わせる再帰的アクティブラーニングフレームワークを設計することで、ラベル複雑度を低減する。
• 局所化された領域における集中不等式およびVCスタイルの一般化境界を活用して、ノイズ下での誤差と損失推定の制御を行う。

実験結果

リサーチクエスチョン

• RQ1 悪意あるおよび敵対的なラベルノイズモデル下で、近似的に最適なノイズ耐性を達成する多項式時間の線形分離器学習アルゴリズムを設計できるか？
• RQ2 局所化技術は、高次元でノイズの多い環境下でノイズ耐性を向上させるためにどのように適応可能か？
• RQ3 悪意あるノイズ下で、アクティブラーニングを効率的かつロバストに実現でき、パasiveな学習法と比較してラベル複雑度が指数的に優れているか？
• RQ4 等方的対数凹型および一様分布下での線形分離器のノイズ耐性の理論的限界は何か？そして、それを達成できるか？

主な発見

• 提案されたアルゴリズムは、等方的対数凹型分布下で悪意あるノイズに対して Ω(ǫ) のノイズ耐性を達成し、定数要因を除いて情報理論的下界に一致する。
• 単位球上の一様分布に対しては、η = Ω(ǫ) の悪意あるノイズ耐性を達成し、先行研究の O(ǫ/d1/4) および O(ǫ²/log(d/ǫ)) の境界を改善する。
• 敵対的ラベルノイズモデル下では、同じ分布に対して η = Ω(ǫ) のノイズ耐性を達成し、多項式時間実行と向上したロバストネスを実現する。
• アクティブラーニング版は、ǫ に対して多項対数的依存性を持つラベル複雑度を達成し、パasiveな学習法と比較して指数的改善を実現する。
• このアルゴリズムは、敵対的ラベルノイズ下での線形分離器に対する、初めての多項式時間アクティブラーニング手法であり、文献における未解決問題を解決する。
• 理論的分析により、元の分布がややいなごろの正則性条件を満たす限り、高いノイズレベル下でも誤差率が ǫ で有界であり、高確率で保たれることを確認した。