[論文レビュー] NESVM: a Fast Gradient Method for Support Vector Machines

Tianyi Zhou, Dacheng Tao+1 more|arXiv (Cornell University)|Aug 24, 2010

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 5

ひとこと要約

NESVM は、最適収束速度 𝒪(1/k²) と1回の反復あたり線形時間計算量を達成する、原始的サポートベクターマシン（SVM）を解くための新規な高速勾配法である。非微分可能なヒンジ損失および ℓ₁-ノルムを平滑化し、ライン検索を必要としないネステロフの最適勾配法を用い、1反復あたり2回の行列-ベクトル積のみを必要とすることで、線形および非線形カーネルの両方において大規模な学習が効率的に行える。

ABSTRACT

Support vector machines (SVMs) are invaluable tools for many practical applications in artificial intelligence, e.g., classification and event recognition. However, popular SVM solvers are not sufficiently efficient for applications with a great deal of samples as well as a large number of features. In this paper, thus, we present NESVM, a fast gradient SVM solver that can optimize various SVM models, e.g., classical SVM, linear programming SVM and least square SVM. Compared against SVM-Perf \cite{SVM_Perf}\cite{PerfML} (its convergence rate in solving the dual SVM is upper bounded by $\mathcal O(1/\sqrt{k})$, wherein $k$ is the number of iterations.) and Pegasos \cite{Pegasos} (online SVM that converges at rate $\mathcal O(1/k)$ for the primal SVM), NESVM achieves the optimal convergence rate at $\mathcal O(1/k^{2})$ and a linear time complexity. In particular, NESVM smoothes the non-differentiable hinge loss and $\ell_1$-norm in the primal SVM. Then the optimal gradient method without any line search is adopted to solve the optimization. In each iteration round, the current gradient and historical gradients are combined to determine the descent direction, while the Lipschitz constant determines the step size. Only two matrix-vector multiplications are required in each iteration round. Therefore, NESVM is more efficient than existing SVM solvers. In addition, NESVM is available for both linear and nonlinear kernels. We also propose "homotopy NESVM" to accelerate NESVM by dynamically decreasing the smooth parameter and using the continuation method. Our experiments on census income categorization, indoor/outdoor scene classification, event recognition and scene recognition suggest the efficiency and the effectiveness of NESVM. The MATLAB code of NESVM will be available on our website for further assessment.

研究の動機と目的

• 高サンプル数および高特徴次元数を有する大規模データセットにおける既存SVMソルバーの非効率性を是正すること。
• 1次勾配法の収束速度が遅い（𝒪(1/√k)）こと、2次勾配法の計算コストが高いことによる原始的SVM最適化の課題を克服すること。
• ライン検索やヘッセ行列の計算を必要とせず、最適収束を達成するスケーラブルで高速かつ安定したソルバーの開発。
• 統一フレームワークを用いて、線形および非線形カーネルSVMの両方の効率的学習を可能にすること。
• クラスの重複や不均衡データが生じる状況において、従来のソルバーが困難をきたす場合でも、収束速度と安定性を向上させること。

提案手法

• パラメータ化された平滑化関数を用いて、原始的SVM目的関数内の非微分可能なヒンジ損失および ℓ₁-ノルムを平滑化する。
• 平滑化された最適化問題を解くためにネステロフの最適勾配法を適用し、現在の勾配と履歴勾配を組み合わせて降下方向を決定する。
• 平滑化目的関数のリプシッツ定数を自動的に用いてステップサイズを設定し、ライン検索の必要性を排除する。
• 1反復あたり2回の行列-ベクトル積を実行し、勾配の計算と解の更新を効率的に実行する。
• ホモトピーNESVMを導入し、平滑化パラメータ μ を動的に減少させるとともに、ウォームスタートを活用して収束を加速する。
• 原始的定式化と効率的な勾配計算を活用することで、線形および非線形カーネルSVMの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 1次勾配法がヘッセ行列の計算を必要とせず、原始的SVMに対して最適な 𝒪(1/k²) 収束速度を達成できるか？
• RQ2 原始的SVMにおける非微分可能な成分（ヒンジ損失および ℓ₁-ノルム）を、高速勾配法を可能にするために効果的に平滑化する方法は何か？
• RQ3 既存のSVMソルバーの収束速度と計算効率を、大規模で高次元特徴を持つデータセットに対して顕著に改善できるか？
• RQ4 さまざまな実世界のデータセットにおいて、NESVMの性能は最先端のソルバー（例：SVM-Perf、Pegasos、LIBSVM、SVM-Light）と比較してどの程度優れているか？
• RQ5 高精度解が必要な場合に、ホモトピー続行戦略がトレーニング時間をどの程度短縮できるか？

主な発見

• NESVM は最適な収束速度 𝒪(1/k²) を達成し、Pegasos（𝒪(1/k)）および SVM-Perf（𝒪(1/√k)）を上回る収束速度を示した。
• NESVM は1反復あたり2回の行列-ベクトル積のみを必要とし、線形時間計算量を達成し、大規模データセットにおいて高い効率性を発揮した。
• 屋内シーン分類のタスクでは、SVM-Perf や SVM-Light、LIBSVM よりも NESVM が高速に学習を完了した。特に C 値が大きい場合に顕著であった。
• 屋外シーン分類のタスクでは、SVM-Light や LIBSVM よりも NESVM が顕著に高速であったが、SVM-Perf は実用的ではないほど遅かった。
• イベント認識およびシーン認識タスクにおいて、すべての C 値に対して NESVM が最短のトレーニング時間を達成し、強靭性とスケーラビリティを示した。
• ホモトピーNESVM は、ウォームスタートと平滑化パラメータ μ の動的減少を活用し、特に高精度が必要な場合にトレーニング時間を大幅に短縮した。