[論文レビュー] Fast Parallel SVM using Data Augmentation

Hugh Perkins, Minjie Xu+2 more|arXiv (Cornell University)|Dec 24, 2015

Machine Learning and Algorithms参考文献 17被引用数 3

ひとこと要約

本論文は、データ拡張定式化に基づく新規な並列SVMアルゴリズムを提案する。この定式化により、線形SVM学習がベイジアン推論問題に再定式化され、高スケーラビリティを実現するモンテカルロサンプリングが可能になる。この手法は、480コアで最大7.6倍高速な最先端の学習速度を達成し、大規模データセットにおいても効果的にスケーリングされ、liblinear や SVMMulticlass といったシングルスレッドソルバーを上回る性能を発揮する。

ABSTRACT

As one of the most popular classifiers, linear SVMs still have challenges in dealing with very large-scale problems, even though linear or sub-linear algorithms have been developed recently on single machines. Parallel computing methods have been developed for learning large-scale SVMs. However, existing methods rely on solving local sub-optimization problems. In this paper, we develop a novel parallel algorithm for learning large-scale linear SVM. Our approach is based on a data augmentation equivalent formulation, which casts the problem of learning SVM as a Bayesian inference problem, for which we can develop very efficient parallel sampling methods. We provide empirical results for this parallel sampling SVM, and provide extensions for SVR, non-linear kernels, and provide a parallel implementation of the Crammer and Singer model. This approach is very promising in its own right, and further is a very useful technique to parallelize a broader family of general maximum-margin models.

研究の動機と目的

• 現代のマルチコアおよび分散ハードウェア上で大規模線形SVMを効率的に学習する課題に対処すること。
• 時間計算量が立方体に比例し、並列スケーラビリティに劣る従来の分解法の限界を克服すること。
• ベイジアン推論とデータ拡張を活用して、効率的な並列サンプリングを可能にするスケーラブルかつ分散型のSVMアルゴリズムを開発すること。
• 非線形カーネル、サポートベクターレグレッション（SVR）、およびCrammerとSingerのマルチクラスモデルへの拡張を実現すること。
• CPUクラスタおよびGPUアクセcelerationを用いて、実世界の大規模データセットで実用的な性能向上を示すこと。

提案手法

• 潜在スケール変数を備えた階層ベイジアンモデルとして線形SVM最適化問題を再定式化し、確率的推論を可能にする。
• マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いてSVMパラメータの事後分布を近似し、自然な並列化を実現する。
• MPIを用いた分散サンプリング方式を実装し、数百コアにわたるスケーリングを実現。I/Oと計算が並列化されている。
• 共分散行列 $\Sigma = \sum_d \frac{1}{\gamma_d} \mathbf{x}_d \mathbf{x}_d^T$ の計算という計算負荷の高いステップをGPUカーネルで加速。
• 同じベイジアンサンプリングフレームワークを用いて、カーネル近似を介して非線形カーネル、SVR、CrammerとSingerのマルチクラスモデルへ拡張。
• 高次元空間におけるMCMC目的関数の収束性と安定性を向上させるために、バーニング期間とサンプル平均化を適用。

実験結果

リサーチクエスチョン

• RQ1 SVM学習のベイジアン再定式化は、大規模クラスタ上で効率的かつスケーラブルな並列処理を可能にするか？
• RQ2 提案されたサンプリングベースのSVMは、非常に大規模なデータセットにおいて、liblinear や SVMMulticlass といった最先端のシングルスレッドソルバーと比較してどの程度の性能を発揮するか？
• RQ3 GPUアクセcelerationは、サンプリングアルゴリズムの主要な行列計算ステップの性能をどの程度向上できるか？
• RQ4 目的関数とテスト精度の観点から、MCMCサンプリングの収束特性はEMベースの手法と比べてどうか？
• RQ5 提案されたフレームワークは、スケーラビリティや精度を損なわずに非線形カーネル、SVR、マルチクラスSVMへ拡張可能か？

主な発見

• MNIST8Mデータセットにおいて、48から480コアにスケーリングした際、並列サンプリングSVMは7.6倍の高速化を達成し、良好な線形スケーリングを示した。
• MNIST8mの全データセットにおいて、訓練を完了したのは本手法とliblinearのみであり、SVMMulticlassはメモリオーバーヘッド（24GB RAM + 30GBスワップ）により強制終了した。
• 512GPUコアを用いた場合、$\Sigma$行列の計算は単一CPUコアに比べ23倍高速であり、2048GPUコアでは50倍の高速化を達成した。
• LIN-*-CLSモデルにおいて、MCMCベースの手法は、100イテレーション後においてEM法よりも高いテスト精度を達成したが、目的関数の収束は遅かった。
• GPUアクセcelerationを施したLIN-EM-CLSソルバーは、学習時間を1コアのCPUで30.4秒から2048GPUコアで6.1秒に短縮し、13倍の高速化を達成したが、データロードがボトルネックとなった。
• 本手法は500コアにスケーリングに成功し、単一マシンのメモリに収まらないような大規模データセットを、クラスタ全体の分散メモリを活用して処理できた。