[論文レビュー] A Class of Parallel Decomposition Algorithms for SVMs Training

Andrea Manno, Laura Palagi+1 more|arXiv (Cornell University)|Sep 17, 2015

Machine Learning and Algorithms参考文献 22被引用数 4

ひとこと要約

この論文は、大規模データセット上のサポートベクターマシン（SVM）の学習のための並列分解アルゴリズムのクラスを提案する。複数のプロセッサ上で独立した部分問題を解くことで、計算を並列化する。現実的で検証可能な仮定の下でグローバル収束を証明し、2つの効率的な実装——PARSMO-1 と PARSMO-2——を導入する。これらは1イテレーションあたり複数の SMO スタイル更新を可能にすることで収束を加速し、カーネル評価の回数を最小限に抑える。特に PARSMO-2 は単一コア環境でも高速化を達成する。

ABSTRACT

The training of Support Vector Machines may be a very difficult task when dealing with very large datasets. The memory requirement and the time consumption of the SVMs algorithms grow rapidly with the increase of the data. To overcome these drawbacks, we propose a parallel decomposition algorithmic scheme for SVMs training for which we prove global convergence under suitable conditions. We outline how these assumptions can be satisfied in practice and we suggest various specific implementations exploiting the adaptable structure of the algorithmic model.

研究の動機と目的

• ヘシアン行列 Q を格納・操作することが不可能になるほどの非常に大きなデータセットにおけるSVM学習の計算的・記憶容量的な課題に対処すること。
• 複数のプロセッサ上で独立した部分問題を解ける並列分解フレームワークを構築し、学習時間を短縮すること。
• 実用的で検証可能な仮定の下で、提案されたアルゴリズム的手法のグローバル収束を保証すること。
• 収束性とスケーラビリティを維持しながら、高価なカーネル評価を最小限に抑えた効率的な実装を設計すること。
• 標準ベンチマークデータセットを用いた実験的評価を通じて、手法の実用的有効性を示すこと。

提案手法

• 対称的で正定値半定値のカーネル行列 Q を用いた、ボックス制約と等式制約を伴う二次計画問題としてSVM双対問題を定式化する。
• 変数集合をワークセットに分割することで、全体の問題を小さな部分問題に分解し、複数のプロセッサ上で並列に解く。
• 各部分問題が2変数（2次元QP）に限定される一般化された SMO スタイル更新戦略を採用し、解析的解法を可能にすることで計算オーバーヘッドを低減する。
• 複数の SMO 方向を同時に更新する場合の収束安定性を確保するため、「集約」ステップサイズ α^k を導入する。
• 2つのバージョンを実装：PARSMO-1 は1イテレーションあたり最大 q 回のカーネル評価を伴う q 回の同時 SMO 最適化を実行する。PARSMO-2 はキャッシュされたカーネル列を再利用することで、再計算を回避する。
• SVMlight で用いられる標準的なキャッシュ戦略を適用し、頻繁にアクセスされるカーネル列を保存することで、I/O とカーネル評価コストを削減する。

実験結果

リサーチクエスチョン

• RQ1 SVM学習のための並列分解アルゴリズムは、大規模データセットを効率的に処理しつつ、グローバル収束を達成できるか？
• RQ2 複数のプロセッサ上で複数の SMO スタイル更新をどのように調整すれば、収束性を損なわずかつカーネル評価コストを増加させずに済ませられるか？
• RQ3 並列SVM学習において、収束速度、カーネル評価コスト、実装の複雑さの間で、実用的なトレードオフはどのようなものか？
• RQ4 キャッシュされたカーネル列を再利用することで、並列アルゴリズムは単一CPUでも数値的安定性と性能を維持できるか？
• RQ5 複数の SMO 方向を用いることで、逐次MVP手法と比較して収束がどの程度速くなるか？

主な発見

• 提案された並列分解アルゴリズムは、現実的で検証可能な仮定の下で最適解へのグローバル収束を達成し、理論的保証を並列設定にまで拡張する。
• PARSMO-1 は、プロセス数 q の増加に伴い相対誤差が急激に低下する傾きを示し、イテレーション数およびプロセスあたりのカーネル評価回数においてより速い収束を示す。
• PARSMO-2 は、キャッシュされたカーネル列を再利用することで、繰り返しのカーネル評価を回避し、高速な解析的更新を可能にすることで、シーケンシャル実行環境でも顕著な高速化を達成する。
• 「集約」ステップサイズ α^k の使用は、数値的安定性にとって不可欠である。これを除去すると、マルチプロセス環境で振動や発散が生じる。
• a9a、real-sim、rcv1 などの6つのベンチマークデータセットにおける実験結果から、PARSMO-1 と PARSMO-2 は古典的なMVPアルゴリズムを上回る収束速度と効率性を示す。
• PARSMO-2 は、収束性のある並列構造と軽量でキャッシュに配慮したシーケンシャル更新を組み合わせることで、標準MVPよりも優れたCPU時間効率を達成する。