[論文レビュー] Fast SVM training using approximate extreme points

Manu Nandan, Pramod P. Khargonekar+1 more|arXiv (Cornell University)|Apr 4, 2013

Machine Learning and ELM参考文献 30被引用数 38

ひとこと要約

本稿では、非線形カーネルSVMの高速トレーニング手法AESVMを提案する。この手法は、カーネル空間における極端な点の代表的サブセットを選択することでトレーニング時間を短縮する。このコンactな集合上で最適化を行うことで、AESVMはSVMに近い精度を達成しつつ、最大1,000倍の高速化を実現し、分類速度も競争力を持つ。この有効性は、てんかん検出やMNISTを含む9つのデータセットで検証された。

ABSTRACT

Applications of non-linear kernel Support Vector Machines (SVMs) to large datasets is seriously hampered by its excessive training time. We propose a modification, called the approximate extreme points support vector machine (AESVM), that is aimed at overcoming this burden. Our approach relies on conducting the SVM optimization over a carefully selected subset, called the representative set, of the training dataset. We present analytical results that indicate the similarity of AESVM and SVM solutions. A linear time algorithm based on convex hulls and extreme points is used to compute the representative set in kernel space. Extensive computational experiments on nine datasets compared AESVM to LIBSVM \citep{LIBSVM}, CVM \citep{Tsang05}, BVM \citep{Tsang07}, LASVM \citep{Bordes05}, $ ext{SVM}^{ ext{perf}}$ \citep{Joachims09}, and the random features method \citep{rahimi07}. Our AESVM implementation was found to train much faster than the other methods, while its classification accuracy was similar to that of LIBSVM in all cases. In particular, for a seizure detection dataset, AESVM training was almost $10^3$ times faster than LIBSVM and LASVM and more than forty times faster than CVM and BVM. Additionally, AESVM also gave competitively fast classification times.

研究の動機と目的

• 大規模データセットにおける非線形カーネルSVMの高いトレーニング時間を軽減し、実用的利用を促進すること。
• 分類精度を損なわずにサポートベクターとトレーニングデータポイントの数を削減すること。
• 解の品質を維持しながら計算コストを著しく削減する、高速でスケーラブルなSVMトレーニング手法を開発すること。
• 繰り返しのフルトレーニングを回避できるように、グリッドサーチによる効率的なハイパーパramータチューニングを可能にすること。
• 既存の高速SVM手法に対する理論的根拠と実験的妥当性を備えた代替手法を提供すること。

提案手法

• カーネル空間における凸包と極端点の特定を用いて、トレーニングデータから代表的集合（RS）を構築する。
• O(N)の複雑度を持つ線形時間アルゴリズム（DeriveRS）を適用して代表的集合を計算する。大規模データセット向けには、O(N log₂(N/P))の変種も利用可能。
• 代表的集合上でのみ目的関数を最小化するように変更したSVM最適化（AESVM）を定式化し、変数の数を削減する。
• 代表的集合内のデータポイントの分布に基づいて導出される係数βtを用いた重み付きハングル損失項を導入する。
• 理論的分析により、AESVMの目的関数がフルSVM目的関数の上界近似で抑えられることを示し、解の類似性が保証される。
• カーネル空間における極端点が重要なマージン構造を捉えていることを利用し、小さなサブセットでフル解を近似可能であることを活用する。

実験結果

リサーチクエスチョン

• RQ1 カーネル空間における極端な点の小さな代表的サブセットを用いて、フルデータセットとほぼ同一の精度でSVMをトレーニングできるか？
• RQ2 大規模データセットにおいて、AESVMのトレーニング時間は、LIBSVM、CVM、BVM、LASVM、SVMperfといった最先端の高速SVM手法と比べてどうなるか？
• RQ3 データセットの次元数と分布が、代表的集合のサイズとその結果得られる高速化に与える影響は何か？
• RQ4 少ないサポートベクターを用いても、AESVMは競争力のある分類インフェレンス時間を持つのか？
• RQ5 AESVMとフルSVMの間の目的関数差の理論的境界が、多様なデータセットで実証的に検証可能か？

主な発見

• てんかん検出データセットにおいて、AESVMはLIBSVMやLASVMと比較して最大1,000倍の高速化を達成し、同程度の分類精度を示した。
• MNISTデータセットでは、CVM や BVM よりも40倍以上高速であったが、次元が高いため代表的集合のサイズがトレーニングデータの100％に近づいた。
• テストされた9つのすべてのデータセットにおいて、AESVMは最小の近似誤差（RMSE）と最大のトレーニング時間の高速化（OTS）を達成した。
• 分類時間も競争力があり、全体的な分類時間の高速化（OCS）はSVMperfに次いで2番目に高かった。
• 全手法の中で最大の分類精度はほぼ同一であったが、RfeatSVMを除き、時々CVM や BVM は低い性能を示した。
• DeriveRSアルゴリズムは低次元データセット（D1–D5）では効率的であったが、高次元設定（D6–D9）では代表的集合が大きくなり、性能向上が鈍った。