[論文レビュー] Approximate Stochastic Subgradient Estimation Training for Support Vector Machines

Sangkyun Lee, Stephen J. Wright|arXiv (Cornell University)|Nov 2, 2011

Machine Learning and Algorithms参考文献 25被引用数 5

ひとこと要約

本稿では、強い凸性や双対定式化を必要とせずに非線形SVMを学習するための確率的勾配降下法であるASSETを提案する。非線形カーネルのランダムな低次元近似を用い、$O(1/\sqrt{t})$ステップサイズのロバストな確率的近似を適用することで、最先端のソルバーと同等の予測精度を達成しつつ、特に大規模およびオンライン設定において顕著に高速な学習時間を実現した。

ABSTRACT

Subgradient algorithms for training support vector machines have been quite successful for solving large-scale and online learning problems. However, they have been restricted to linear kernels and strongly convex formulations. This paper describes efficient subgradient approaches without such limitations. Our approaches make use of randomized low-dimensional approximations to nonlinear kernels, and minimization of a reduced primal formulation using an algorithm based on robust stochastic approximation, which do not require strong convexity. Experiments illustrate that our approaches produce solutions of comparable prediction accuracy with the solutions acquired from existing SVM solvers, but often in much shorter time. We also suggest efficient prediction schemes that depend only on the dimension of kernel approximation, not on the number of support vectors.

研究の動機と目的

• 非線形マッピングの明示的表現がないため、非線形SVMに対する効率的な勾配降下法が不足している問題に対処する。
• 強い凸性と線形カーネルを必要とする既存の勾配降下手法の制限を克服する。
• 非線形特徴空間のランダムな低次元近似を用いた目的関数を導入し、スケーラブルな学習を可能にする。
• 予測の計算複雑度をサポートベクターの数から分離することで、効率的なオンラインおよび大規模学習を実現する。
• バッチソルバーと比べて著しく短い学習時間を実現しながらも、高い予測精度を維持するフレームワークを提供する。

提案手法

• ランダム基底の構築またはグラム行列の近似により、非線形特徴マッピングのランダムな低次元近似を用いる。
• $O(1/\sqrt{t})$ステップサイズを用いた、近似特徴空間における目的関数のプライマル定式化を採用する。
• 強い凸性を必要とせず、削減されたプライマル問題を最小化するためのロバストな確率的近似アルゴリズムを適用する。
• 予測の効率的スキームを構築し、サポートベクターの数ではなく近似次元$d$に依存するようにする。
• 反復的な近似計算を用いてオンライン学習およびインクリメンタル更新をサポートする。
• 反復値の平均化を統合することで、強い凸性が欠如する状況下でも収束性と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 双対定式化や強い凸性に依存せずに、勾配降下法を非線形SVMに効果的に拡張できるか？
• RQ2 ランダムな低次元カーネル近似を用いることで、確率的SVM学習の収束性と精度にどのような影響を与えるか？
• RQ3 強い凸性が失われた状況下でも、$O(1/\sqrt{t})$ステップサイズスキームが$O(1/t)$スキームを上回るか、同等の性能を発揮できるか？
• RQ4 近似カーネル手法において、予測の計算複雑度をサポートベクターの数からどれだけ分離できるか？
• RQ5 大規模データセットにおいて、本手法は既存のバッチおよびオンラインSVMソルバーと比べて、速度と精度の点でどの程度優れているか？

主な発見

• ASSET手法はCPSPやSVM-Lightと同等のテスト誤差率を達成し、学習時間が著しく短縮された—一部のデータセットではCPSPの40倍も速い。
• MNIST-Eデータセットでは、ASSET F（$d=16384$）が7.2時間で2.7%のテスト誤差を達成したが、LASVMは0.2%誤差に到達するまでに4.3日を要した。
• ASSET MとASSET $^{*}_{M}$は、理論的収束が遅いにもかかわらず、ほぼゼロに近い最適正則化パrameterのおかげで強い凸性仮定が破られるため、同程度の性能を示した。
• ADULTデータセットではCPNYが異常に長い実行時間を要し、数値的不安定性の兆候が示されたが、ASSET手法は依然として効率的かつ安定的であった。
• 近似次元$d$に依存する予測スキームにより、サポートベクターの数に依存しない高速な推論が可能となり、スケーラブルなデプロイメントが実現した。
• $O(1/\sqrt{t})$ステップサイズは、$\lambda$が小さいために目的関数がほぼ弱く凸的であっても、実用的には$O(1/t)$スキームと同等の性能を発揮した。