[論文レビュー] A sparse semismooth Newton based augmented Lagrangian method for large-scale support vector machines

Dunbiao Niu, Chengjing Wang+3 more|arXiv (Cornell University)|Oct 3, 2019

Sparse and Compressive Sensing Techniques参考文献 46被引用数 6

ひとこと要約

本稿では、主双対誤差境界と2次スパarsityを活用して高速な局所収束を達成する、大規模なサポートベクターマシン向けのスパース半スムーズニュートンに基づく増大ラグランジュ法（SSsNAL）を提案する。数値結果から、大規模なSVM問題において、SSsNALは最先端のソルバーよりも最大100倍速いことが示された。

ABSTRACT

Support vector machines (SVMs) are successful modeling and prediction tools with a variety of applications. Previous work has demonstrated the superiority of the SVMs in dealing with the high dimensional, low sample size problems. However, the numerical difficulties of the SVMs will become severe with the increase of the sample size. Although there exist many solvers for the SVMs, only few of them are designed by exploiting the special structures of the SVMs. In this paper, we propose a highly efficient sparse semismooth Newton based augmented Lagrangian method for solving a large-scale convex quadratic programming problem with a linear equality constraint and a simple box constraint, which is generated from the dual problems of the SVMs. By leveraging the primal-dual error bound result, the fast local convergence rate of the augmented Lagrangian method can be guaranteed. Furthermore, by exploiting the second-order sparsity of the problem when using the semismooth Newton method,the algorithm can efficiently solve the aforementioned difficult problems. Finally, numerical comparisons demonstrate that the proposed algorithm outperforms the current state-of-the-art solvers for the large-scale SVMs.

研究の動機と目的

• サンプルサイズの増大に伴う大規模なサポートベクターマシンを解く際の数値的課題に対処すること。
• 特に線形等式制約とボックス制約を伴う凸二次計画問題として定式化されるSVM双対問題の特徴に適合した効率的アルゴリズムの開発。
• 主双対誤差境界の結果を活用して、増大ラグランジュ法の高速な局所収束を保証すること。
• 半スムーズニュートン法における2次スパarsityを活用して、部分問題の解法を加速すること。
• 大規模なSVM問題において、既存の最先端ソルバーよりも速度と反復回数の両面で優れた性能を示すことを実証すること。

提案手法

• C-SVCおよびSVRの統一的表現として、線形等式制約と単純な境界を伴う凸二次計画問題としてSVM双対問題を定式化する。
• 双対問題を解くために増大ラグランジュ法（ALM）を適用し、グローバル収束を保証するとともに、主双対誤差境界を活用して高速な局所収束を実現する。
• ALMで生じる部分問題を解くために、半スムーズニュートン（SsN）法を用いる。ここで、ニュートン方程式におけるヘッセ行列のスパarsityを活用する。
• SsNステップにおいて、スパース線形システムの解法戦略を導入し、無限大でないサポートベクターの数に基づいてより小さなシステムを解くことで、計算コストを低減する。
• 適応的ラインサーチと正確なステップ長選択を実装し、十分な減少とグローバル収束を保証する。
• SsN部分問題ソルバーをALMフレームワークに統合し、ALMのグローバル収束性とSsNの高速な局所収束性を組み合わせたハイブリッドアルゴリズム（SSsNAL）を構築する。

実験結果

リサーチクエスチョン

• RQ1 半スムーズニュートンに基づく増大ラグランジュ法は、高効率に大規模なSVM双対問題を解くのに有効であるか？
• RQ2 ヘッセ行列における2次スパarsityの活用は、ALMフレームワークにおける部分問題の解法速度にどのように影響するか？
• RQ3 FAPG や P2GP といった最先端のソルバーよりも、提案された SSsNAL 法は大規模なSVM問題においてどの程度の性能向上を達成するか？
• RQ4 提案されたアルゴリズムにおいて、主双対誤差境界はどの程度の範囲で高速な局所収束を保証するか？
• RQ5 無限大でないサポートベクターの数は、実際のSsN部分問題の解法効率にどのように影響するか？

主な発見

• SSsNALは、特に最も挑戦的なケースにおいて、FAPG や P2GP に対して最大100倍の高速化を達成した。
• 大規模な問題では、無限大でないサポートベクターの数が訓練サンプル総数に比べて顕著に小さいことが確認され、SsN部分問題が小さな線形システムとして効率的に解けることが示された。
• RBFカーネルを用いたSVR問題では、SSsNALは8(3)～149(340,595)回の反復で、29秒から2:15分の時間で収束し、時間的および反復回数的両面でFAPG や P2GP を上回った。
• KKT残差は10^-6未満にまで低下し、平均MSE値はcadataで2.88×10^-2、abaloneで4.63×10^-2、space_gaで1.15×10^-1であった。これは高い解の精度を示している。
• 複数のデータセットおよびランダムな分割に対して、収束速度と反復回数の両面で一貫した優位性を示し、アルゴリズムの頑健な性能を確認した。
• 主双対誤差境界とスパースSsN部分問題解法の組み合わせにより、高速な局所収束が保証されるとともに、グローバル収束性と高い効率性を両立した。