[論文レビュー] Scaling SVM and Least Absolute Deviations via Exact Data Reduction

Jie Wang, Peter Wonka+1 more|arXiv (Cornell University)|Oct 25, 2013

Face and Expression Recognition参考文献 30被引用数 59

ひとこと要約

本稿では、変分不等式を用いた双対問題解析を通じて、サポートベクターマシン（SVM）および最小絶対偏差（LAD）回帰における非サポートベクタを正確に特定・除外するためのDVI（デュアル変分不等式）スクリーニング規則を提案する。この手法により、最適化の前段階で最大90%のデータインスタンスを安全に削除でき、最適化前処理の高速化が実現され、従来の安全スクリーニング規則（SSNSVおよびESSNSV）を上回る性能を発揮する。

ABSTRACT

The support vector machine (SVM) is a widely used method for classification. Although many efforts have been devoted to develop efficient solvers, it remains challenging to apply SVM to large-scale problems. A nice property of SVM is that the non-support vectors have no effect on the resulting classifier. Motivated by this observation, we present fast and efficient screening rules to discard non-support vectors by analyzing the dual problem of SVM via variational inequalities (DVI). As a result, the number of data instances to be entered into the optimization can be substantially reduced. Some appealing features of our screening method are: (1) DVI is safe in the sense that the vectors discarded by DVI are guaranteed to be non-support vectors; (2) the data set needs to be scanned only once to run the screening, whose computational cost is negligible compared to that of solving the SVM problem; (3) DVI is independent of the solvers and can be integrated with any existing efficient solvers. We also show that the DVI technique can be extended to detect non-support vectors in the least absolute deviations regression (LAD). To the best of our knowledge, there are currently no screening methods for LAD. We have evaluated DVI on both synthetic and real data sets. Experiments indicate that DVI significantly outperforms the existing state-of-the-art screening rules for SVM, and is very effective in discarding non-support vectors for LAD. The speedup gained by DVI rules can be up to two orders of magnitude.

研究の動機と目的

• 大規模SVMおよびLADモデルの学習における計算ボトル neck を解消すること。
• スクリーニングされたベクタが非サポートベクタであることを保証する安全で正確なスクリーニング手法を開発すること。
• 従来、ℓ1正則化問題における特徴選択に限定されていたスクリーニング技術を、SVMおよびLADにおけるインスタンスレベルのスクリーニングに拡張すること。
• 任意の既存のSVMまたはLADソルバと統合可能な、ソルバに依存しないフレームワークを提供すること。
• 合成データおよび実世界のデータセットを用いて、本手法の有効性を実証すること。

提案手法

• SVMおよびLADの双対問題を定式化し、変分不等式を用いて最適双対解の推定を行う。
• 各データベクタと最適双対解との内積の下界を導出し、非サポートベクタを特定する。
• スクリーニング規則は安全基準に基づく：下界が閾値を超える場合、ベクタは非サポートであることが保証される。
• スクリーニング条件の計算にはデータを1回走査するだけでよく、計算コストは無視できるほど小さい。
• このフレームワークはLADに拡張され、これまではスクリーニング規則が存在しなかった問題に適用可能となった。
• 本手法は基盤となるソルバに依存せず、任意の効率的な既存ソルバとシームレスに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 SVMにおいて、最終分類器の性能を損なわせることなく、非サポートベクタを安全に特定する効率的かつ安全なスクリーニング規則を開発できるか？
• RQ2 特徴選択を超えて、ℓ1正則化モデルにおけるインスタンスレベルのデータ削減にスクリーニング技術を一般化できるか？
• RQ3 変分不等式は、従来の手法に比べ、よりタイトで正確な双対解推定を提供できるか？
• RQ4 本手法をLAD回帰に拡張できるか？現時点では安全なスクリーニング規則が存在しない分野である。
• RQ5 本手法は、大規模学習問題における計算コストおよびメモリ使用量をどの程度削減できるか？

主な発見

• IJCNN1データセットでは、DVI規則が非サポートベクタの最大80%を同定し、ベースラインソルバに比べ5倍の高速化を達成した。
• Wineデータセットでは、DVIが80%以上のインスタンスを除外し、6倍の高速化を実現した。
• Forest Covertypeデータセットでは、DVIが90%以上のデータポイントをスクリーニングし、ほぼ80倍の高速化を達成した。
• LAD回帰では、Magic Gamma Telescopeデータセットで90%の棄却率を達成し、10倍の高速化を実現した。
• Housesデータセットでは、DVIがほぼ100%の棄却率を達成し、115倍の高速化を実現した。これは高次元データにおいても有効であることを示している。
• DVIは、SSNSVおよびESSNSVと比較して、非サポートベクタの同定において一貫して優れた性能を示し、スクリーニング初期化にかかる計算コストも顕著に低減された。