[論文レビュー] Streamed Learning: One-Pass SVMs

Piyush Rai, Hal Daumé+1 more|ArXiv.org|Aug 5, 2009

Machine Learning and Algorithms参考文献 14被引用数 9

ひとこと要約

本稿では、$ε$-正則化$ε$-SVMのための1パスストリーミングアルゴリズムであるStreamSVMを提案する。最小包含球（MEB）定式化を活用することで、各例に対して多項対数時間計算と定数記憶領域を実現する。オンライン的更新を用いてストリーミングMEB更新をSVM重みベクトルに適応させることで、最適解の$(3/2)$-近似を達成しつつ、実データおよび合成データ上で競争力ある分類精度を維持する。

ABSTRACT

We present a streaming model for large-scale classification (in the context of $\ell_2$-SVM) by leveraging connections between learning and computational geometry. The streaming model imposes the constraint that only a single pass over the data is allowed. The $\ell_2$-SVM is known to have an equivalent formulation in terms of the minimum enclosing ball (MEB) problem, and an efficient algorithm based on the idea of \emph{core sets} exists (Core Vector Machine, CVM). CVM learns a $(1+\varepsilon)$-approximate MEB for a set of points and yields an approximate solution to corresponding SVM instance. However CVM works in batch mode requiring multiple passes over the data. This paper presents a single-pass SVM which is based on the minimum enclosing ball of streaming data. We show that the MEB updates for the streaming case can be easily adapted to learn the SVM weight vector in a way similar to using online stochastic gradient updates. Our algorithm performs polylogarithmic computation at each example, and requires very small and constant storage. Experimental results show that, even in such restrictive settings, we can learn efficiently in just one pass and get accuracies comparable to other state-of-the-art SVM solvers (batch and online). We also give an analysis of the algorithm, and discuss some open issues and possible extensions.

研究の動機と目的

• 大規模およびストリーミングデータ環境下での従来のバッチSVMのスケーラビリティ制限に対処すること。
• 1回のデータ走査、多項対数時間計算、定数記憶領域という厳密な制約下で動作するストリーミング学習アルゴリズムの開発。
• 幾何学的および最適化的関係を介して、最小包含球（MEB）問題のストリーミング解法を$ε$-SVM定式化に適応すること。
• これらの制約下でストリーミングSVMに対する理論的近似保証を提供すること、特に$(3/2)$-近似バウンドを含む。
• 最先端のバッチおよびオンラインSVMソルバと比較して、本手法の精度および効率を実験的に評価すること。

提案手法

• 先行研究で確立された等価性を活用し、$ε$-SVMのプライマル問題を特徴空間における最小包含球（MEB）問題に再定式化する。
• コアセットに類似した更新を用いて、$(1+\varepsilon)$-近似MEBを逐次的に維持するストリーミングMEBアルゴリズムを採用し、SVM重みベクトルに適応する。
• 各入力例に対して、MEB中心および半径を更新する多項対数時間計算を実行し、これらが直接SVM重みベクトルおよびバイアスに対応する。
• 更新ルールはオンライン確率的勾配降下に類似しているが、幾何的MEB更新に基づくため、ストリーミング制約下でも安定性と収束性を保証する。
• 悪意のあるデータ順序に対して耐性を高めるために、最近の点のウィンドウを用いてMEB推定値を精緻化するアドバンスドバージョンを導入する。
• 完全なデータ保存を避けるために、MEB中心および半径（または同等の重みベクトルおよびバイアス）のみを追跡することで、定数記憶領域を維持する。

実験結果

リサーチクエスチョン

• RQ1 1パスストリーミングアルゴリズムは、多項対数時間計算と定数記憶領域の制約下でも、$ε$-SVMに対して競争力ある分類精度を達成できるか？
• RQ2 単一パスストリーミングMEBアルゴリズムが達成可能な最良の近似比は何か？ そして、SVM設定に拡張可能か？
• RQ3 アドバンスドバージョンを組み込むことで、悪意のあるデータ順序に対して近似品質や耐性が向上するか？
• RQ4 楕円体（球ではなく）のような幾何的構造を用いることで、ストリーミングSVMにおけるよりタイトな近似バウンドや優れた性能が得られるか？
• RQ5 理論的近似バウンド$3/2$は、実世界のデータセットにおける実効的性能と比べてどうか？

主な発見

• StreamSVMは、最適な$ε$-SVM解に対する理論的$(3/2)$-近似を達成し、劣化の上限を明示的な保証として提供する。
• 理論的バウンドが保守的であるにもかかわらず、合成および実世界のデータセットにおいて、最先端のバッチおよびオンラインSVMソルバと同等の分類精度を達成する。
• 本手法は例ごとに多項対数時間計算と定数記憶領域を要するため、大規模かつメモリ制限のある環境に適している。
• アドバンスドバージョンは、順序が悪意的に並べ替えられたデータストリームに対して耐性を高めるが、悪意のある状況下での理論的近似バウンドを改善しない。
• 実験結果から、標準的なソルバーよりも少ないサポートベクトルを学習するため、より単純なモデルが得られ、一般化性能やスパarsityの向上が示唆される。
• 理論的分析により、悪意のある状況下で$(1+\sqrt{2})/2 \approx 1.207$の近似比下限がタイトであることが確認され、提案手法によって$3/2$の上界が達成可能であることが示された。