[論文レビュー] A Gaussian Belief Propagation Solver for Large Scale Support Vector Machines

Danny Bickson, Elad Yom‐Tov+1 more|ArXiv.org|Oct 9, 2008

Face and Expression Recognition参考文献 22被引用数 21

ひとこと要約

本稿では、大規模なサポートベクターマシン（SVM）向けにスケーラブルで並列処理可能なガウス型信念伝搬（GaBP）ソルバーを提案する。各イテレーションにおける通信オーバーヘッドをO(n²)からO(n)に削減することで、IBM Blue Gene上で最大256CPUまで線形スループットを達成。Covertype（150Kポイント）などの大規模データセットにおいて、最先端のソルバーを上回る精度と効率を示し、密行列およびカーネル化された問題に対しても高い性能を発揮する。

ABSTRACT

Support vector machines (SVMs) are an extremely successful type of classification and regression algorithms. Building an SVM entails solving a constrained convex quadratic programming problem, which is quadratic in the number of training samples. We introduce an efficient parallel implementation of an support vector regression solver, based on the Gaussian Belief Propagation algorithm (GaBP). In this paper, we demonstrate that methods from the complex system domain could be utilized for performing efficient distributed computation. We compare the proposed algorithm to previously proposed distributed and single-node SVM solvers. Our comparison shows that the proposed algorithm is just as accurate as these solvers, while being significantly faster, especially for large datasets. We demonstrate scalability of the proposed algorithm to up to 1,024 computing nodes and hundreds of thousands of data points using an IBM Blue Gene supercomputer. As far as we know, our work is the largest parallel implementation of belief propagation ever done, demonstrating the applicability of this algorithm for large scale distributed computing systems.

研究の動機と目的

• トレーニングサンプル数に比例する2次時間の凸最適化を要する大規模SVMの解法における計算ボトル neck を解消すること。
• 特に分散環境およびハイパフォーマンスコンピューティング環境において、信念伝搬を用いた効率的でスケーラブルなSVMの並列計算を可能にすること。
• 信念伝搬における通信負荷をO(n²)からO(n)のメッセージ数に削減し、大規模データセットにおけるスケーラビリティを向上させること。
• GaBPが従来のスパース問題に限定されてきたのを拡張し、密行列およびカーネル化されたSVMへの適用可能性を示すこと。
• スーパーコンピュータインfraストラクチャを用いて実世界のデータセットを評価し、速度とスケーラビリティの優位性を示すこと。

提案手法

• SVMの双対最適化問題をガウス型グラフィカルモデルに再定式化し、ガウス型信念伝搬（GaBP）による解法を可能にする。
• 問題の構造と行列のスパarsityを活用することで、各イテレーションにおける通信総量をO(n²)からO(n)に削減する、新規のメッセージパッシングアーキテクチャを提案する。
• MPICH2を用いた同期通信を採用し、IBM Blue Geneなどのスーパーコンピュータに適した実装とする。各ノードがデータおよびメッセージの一部を処理する。
• RBFや多項式などのカーネル関数をGaBPフレームワークに統合し、非線形SVMの効率的解法を可能にする。
• カーネルリッジ回帰の定式化により分類および回帰の両方をサポートし、ステップサイズをラインサーチを用いて反復的に最適化する。
• 実装は最大1,024ノードにスケーリング可能であり、Blue GeneおよびLinuxクラスタを用いて実際のデータセットで性能を測定している。

実験結果

リサーチクエスチョン

• RQ1 密行列を伴う大規模SVM問題に対して、ガウス型信念伝搬を効果的に適応可能か？
• RQ2 各イテレーションにおけるGaBPの通信複雑度をO(n²)からO(n)に削減しつつ、収束性と精度を維持できるか？
• RQ3 提案されたGaBPベースのSVMソルバーは、既存の並列およびシングルノードソルバーと比較して線形スループットを達成し、優れた性能を示すか？
• RQ4 数十万件のデータポイントおよび1,024ノードにまでスケーリング可能か？性能劣化は顕著でないか？
• RQ5 MNIST や Covertype といった実世界のデータセットにおいて、GaBPソルバーは最先端の並列分解手法と比較してどのように性能を発揮するか？

主な発見

• 提案されたGaBPソルバーは、IBM Blue Geneスーパーコンピュータ上で最大256CPUまで線形スループットを達成し、効率的な並列処理と低通信オーヘッドを示している。
• Covertypeデータセット（150,000ポイント）では、1,024CPUを用いて468秒で実行され、Zanniらの最先端ソルバー（24,365秒）を上回る性能を示した。
• MNISTデータセット（60,000ポイント）では756秒で実行されたが、Zanniらの359秒よりは遅いが、ハードウェアおよびデータサイズの差を考慮すれば依然として競争力がある。
• SVMlight（シングルノードソルバー）と同等の精度を維持し、分類性能に有意差は認められない（p < 10⁻³）。
• 1,024ノードおよび数十万件のデータポイントへのスケーラビリティを示し、報告された中で最大規模の並列信念伝搬実装である。
• 非同期通信はさらなる性能向上をもたらすと予想され、大規模スパース行列を用いた初期実験では、このような環境下で収束が速いことが示された。