[論文レビュー] A Divide-and-Conquer Solver for Kernel Support Vector Machines

Cho‐Jui Hsieh, Si Si+1 more|arXiv (Cornell University)|Nov 4, 2013

Machine Learning and ELM参考文献 28被引用数 131

ひとこと要約

本稿では、カーネルk-meansクラスタリングを用いて大規模データセットを分割し、より小さな部分問題を独立して解くことで、カーネルサポートベクターマシンのための分割統治型ソルバーであるDC-SVMを提案する。この手法は、部分問題の解をグローバル座標降下法の高品質な初期化として活用し、LIBSVMと比較して最大100倍速く学習を実現しながらも高い精度を維持する。特に、covtypeデータセットでは正確な解を得る際に7倍速く、早期予測を用いることで100倍速くなった。

ABSTRACT

The kernel support vector machine (SVM) is one of the most widely used classification methods; however, the amount of computation required becomes the bottleneck when facing millions of samples. In this paper, we propose and analyze a novel divide-and-conquer solver for kernel SVMs (DC-SVM). In the division step, we partition the kernel SVM problem into smaller subproblems by clustering the data, so that each subproblem can be solved independently and efficiently. We show theoretically that the support vectors identified by the subproblem solution are likely to be support vectors of the entire kernel SVM problem, provided that the problem is partitioned appropriately by kernel clustering. In the conquer step, the local solutions from the subproblems are used to initialize a global coordinate descent solver, which converges quickly as suggested by our analysis. By extending this idea, we develop a multilevel Divide-and-Conquer SVM algorithm with adaptive clustering and early prediction strategy, which outperforms state-of-the-art methods in terms of training speed, testing accuracy, and memory usage. As an example, on the covtype dataset with half-a-million samples, DC-SVM is 7 times faster than LIBSVM in obtaining the exact SVM solution (to within $10^{-6}$ relative error) which achieves 96.15% prediction accuracy. Moreover, with our proposed early prediction strategy, DC-SVM achieves about 96% accuracy in only 12 minutes, which is more than 100 times faster than LIBSVM.

研究の動機と目的

• 数百万件のサンプルを含む大規模データセットにおけるカーネルSVMのスケーラビリティのボトル neck を解消すること。
• 従来のSVMソルバーにおける密行列のカーネル行列計算に伴う計算コストとメモリコストを低減すること。
• 近似ソルバーで見られる妥協を避け、効率性と高い予測精度を両立する手法を開発すること。
• 部分問題の解を活用した早期予測戦略により、高速かつ高精度な推論を可能にすること。
• 適切なカーネルクラスタリングのもとで、部分問題のサポートベクターがグローバルサポートベクターである可能性が高いことを理論的に裏付けること。

提案手法

• 計算コストを低減するための2段階のカーネルk-means手順を用いて、データセットをより小さな部分問題に分割する。
• 各部分問題を標準的なSVM最適化により独立して解き、局所的な解を得る。
• 局所的な解を統合して、グローバル座標降下法の初期点とし、グローバル最適解に近いために収束が著しく速くなる。
• マルチレベル拡張により、分割を動的に精緻化し、適応的クラスタリングと早期停止を統合する。
• 早期予測戦略では、部分問題の解を完全なモデルの高速かつ高精度な代理として活用し、完全収束をスキップする。
• 理論的分析により、カーネルk-meansが部分問題解とグローバル解の差を最小化することを示し、本手法の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングに基づく部分問題分解は、グローバルSVM最適解に近い初期解を生成できるか？
• RQ2 部分問題の解を初期値として用いることで、グローバル座標降下法の収束が著しく速くなるか？
• RQ3 部分問題出力に基づく早期予測は、最先端のソルバーと比較して、より速く高いテスト精度を達成できるか？
• RQ4 RBFカーネルや多項式カーネルを含む多様なカーネルタイプ、さまざまなハイパーパramータ設定下でDC-SVMはどのように性能を発揮するか？
• RQ5 DC-SVMの性能優位性は、異なるデータセットやカーネルパラメータ設定に対しても頑健か？

主な発見

• covtypeデータセット（500kサンプル）では、DC-SVMはLIBSVMと比較して正確なSVM解を7倍速く達成し、96.15％のテスト精度を達成した。
• 早期予測を用いることで、DC-SVMは12分で96.03％の精度に到達した—これはLIBSVMが10時間経っても達成できなかった。
• Cとγの100通りのパラメータ設定のうち96通りで、DC-SVMはLIBSVMよりも速く、γが小さく部分問題の解がやや不正確であっても同様だった。
• 多項式カーネルでは、DC-SVMはLIBSVMおよびLaSVMと比較して100倍以上速く、サポートベクターの識別が優れていたためである。
• クラスタリング時間はレベルにかかわらずほぼ一定（36–43秒）であり、トレーニング時間は深さに応じて増加する傾向にあり、クラスタリングフェーズのスケーラビリティが裏付けられた。
• ijcnn1、webspam、covtype、censusデータセットの全範囲で、DC-SVM（早期）はランタイムと精度の両面で一貫してLIBSVMを上回った。