[論文レビュー] A Simple Algorithm for Maximum Margin Classification, Revisited

Sariel Har-Peled|arXiv (Cornell University)|Jul 6, 2015

Machine Learning and Algorithms参考文献 1被引用数 3

ひとこと要約

この論文は、高次元空間における線形マックスマージン分類器を計算する単純な反復的アルゴリズムを再考する。ラベル付けおよび反例オラクルを用いて、2つのクラスの間の分離スラブを段階的に改善し、最適マージンの (1−ε)-近似を O((Δ/γ)²/ε²) 回の反復で達成する。合計時間計算量は O(Idxn) であり、Δ は点集合の直径、γ は真のマージンを表す。

ABSTRACT

In this note, we revisit the algorithm of Har-Peled et. al. [HRZ07] for computing a linear maximum margin classifier. Our presentation is self contained, and the algorithm itself is slightly simpler than the original algorithm. The algorithm itself is a simple Perceptron like iterative algorithm. For more details and background, the reader is referred to the original paper.

研究の動機と目的

• Har-Peled ら (2007) の最大マージン分類アルゴリズムの自己完備的かつ簡素化されたバージョンを提示すること。
• アクティブラーニングの設定において、高価なオラクルクエリの回数を最小限に抑えること。
• ℝᵈ における線形分離可能なデータに対して、(1−ε)-近似最大マージン分類器を達成すること。
• マージンおよび直径の制約下でのアルゴリズムの収束速度と反復複雑度を分析すること。

提案手法

• アルゴリズムは、2点 bᵢ と wᵢ によって定義されるスラブを用い、それらの線分の周りに (1−ε)-縮小されたスラブを形成する。
• 各反復で、反例オラクルを用いて現在のスラブがすべての点を分離しているかを確認する。もし分離できない場合、スラブの中間超平面に最も近い点を選択する。
• 最も近い誤分類点のラベルをラベルオラクルに問い合わせ、分離を改善するためにスラブを定義する点の一方を射影によって更新する。
• アルゴリズムは、各更新で幅 ℓᵢ = ||bᵢ − wᵢ|| が減少するように維持し、幅の減少率が 1 − (εℓᵢ/(4Δ))² で抑えられることを保証する。
• 収束は、各エポック（ℓᵢ が半分になる期間）が O((2ʲ/ε)²) 回の反復を要することを示すことによって分析され、最終エポックが合計複雑度を支配する。
• 合計反復回数は O((Δ/γ)²/ε²) で抑えられ、(1−ε)-近似最大マージン分類器への効率的な収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 より単純で自己完備的なアルゴリズムが、最小限のオラクルクエリで (1−ε)-近似最大マージン分類を達成できるか？
• RQ2 マージンに基づくアクティブラーニング設定において、反復回数はデータの直径 Δ とマージン γ にどのように依存するか？
• RQ3 ラベル付けおよび反例オラクルのみを用いた反復的スラブ精錬アルゴリズムの理論的収束速度は何か？
• RQ4 このアルゴリズムは、最大マージン分離の背後にある二次計画問題への近似と解釈できるか？
• RQ5 スラブ更新の幾何学的構造は、最適マージンへの単調な改善をどのように保証するか？

主な発見

• アルゴリズムは O((Δ/γ)²/ε²) 回の反復で (1−ε)-近似最大マージン分類器を計算し、合計時間計算量は O(Idn) である。
• 各反復では、ラベルオラクルおよび反例オラクルの呼び出しをそれぞれ最大1回まで行い、高価なクエリを最小限に抑える。
• 反復回数は最終エポックに支配され、スラブ幅が 2γ 未満に下がり、γ に達するまでに O((Δ/γ)²/ε²) ステップを要する。
• スラブ幅 ℓᵢ はエポックごとに幾何的に減少し、j 番目のエポックは O((2ʲ/ε)²) 回の反復を要する。
• I = O((Δ/γ)²/ε²) 回の反復後、得られるスラブの幅は (1−ε)γ 以上であり、すべての点を正しく分離することが保証される。
• この手法は、最適マージン分類器への実用的で効率的な近似を提供し、関連する二次計画問題を解くための1次近似法と解釈可能である。