[論文レビュー] Compressed Support Vector Machines

Zhixiang Xu, Jacob R. Gardner+2 more|arXiv (Cornell University)|Jan 26, 2015

Face and Expression Recognition参考文献 13被引用数 7

ひとこと要約

本稿では、学習済みカーネルSVMのテスト時コストを削減するための後処理手法である圧縮ベクトルマシン（CVM）を提案する。CVMは、元の決定境界を近似するための連続空間上に最適化された人工的サポートベクトルを学習することで、テスト時の計算コストを大幅に削減する。本手法は、フルモデルに匹敵する精度を維持しながら、複数のオーダーの高速化を達成し、Reduced-SVM や LARS-SVM と比較して、精度と計算量のトレードオフにおいて優れた性能を示す。

ABSTRACT

Support vector machines (SVM) can classify data sets along highly non-linear decision boundaries because of the kernel-trick. This expressiveness comes at a price: During test-time, the SVM classifier needs to compute the kernel inner-product between a test sample and all support vectors. With large training data sets, the time required for this computation can be substantial. In this paper, we introduce a post-processing algorithm, which compresses the learned SVM model by reducing and optimizing support vectors. We evaluate our algorithm on several medium-scaled real-world data sets, demonstrating that it maintains high test accuracy while reducing the test-time evaluation cost by several orders of magnitude---in some cases from hours to seconds. It is fair to say that most of the work in this paper was previously been invented by Burges and Schölkopf almost 20 years ago. For most of the time during which we conducted this research, we were unaware of this prior work. However, in the past two decades, computing power has increased drastically, and we can therefore provide empirical insights that were not possible in their original paper.

研究の動機と目的

• カーネルSVMのテスト時計算コストを低減すること。このコストは、サポートベクトルの数に比例して線形に増加する。
• 推論時に使用するサポートベクトルの数を大幅に削減しながらも、高い分類精度を維持すること。
• 訓練データから選択するのではなく、連続空間上に学習する人工的サポートベクトルを用いた、後処理による圧縮技術を開発すること。
• 実世界のデータセットにおいて、Reduced-SVM や LARS-SVM と比較して、精度と効率のトレードオフにおいて優れた性能を示すこと。
• 現代の計算リソースを用いて、以前は理論的な枠組みにとどまっていた手法（Burges と Schölkopf, 1999）を実証的に検証すること。

提案手法

• まず、事前に学習済みのフルSVMモデルを用意し、LARS-SVMを用いて元のサポートベクトル集合から初期のサブセットを選択する。
• 次に、サポートベクトルの位置とそれに対応する双対変数（ラグランジュ乗数）を同時に最適化する勾配降下法を用い、決定境界の連続空間上での最適な基底を学習する。
• 最適化の目的関数（式10）は、圧縮モデルの決定関数と元のSVMの決定関数との差を最小化することを目的としている。
• 結果として得られる圧縮モデルは、より少ない数の学習済みサポートベクトルを持つ標準的なSVMであり、LibSVM互換フォーマットで保存可能である。
• 本手法は2段階で実行される：まずLARSによる初期サブセット選択を行い、その後、サポートベクトル位置の連続的最適化を実施する。
• 多値分類問題への応用は、1対1、1対他、またはDAGスキームを用いて拡張される。

実験結果

リサーチクエスチョン

• RQ1 少数の学習済み連続空間上サポートベクトルを用いて、フルSVMの決定境界を最小限の精度損失で近似できるか？
• RQ2 CVMの性能は、Reduced-SVM や LARS-SVM と比較して、精度と推論コストの観点でどのように異なるか？
• RQ3 どれほどテスト時の評価コストを削減できるか、同時に高い分類精度を維持できるか？
• RQ4 訓練データから離散的に選択するのではなく、連続空間におけるサポートベクトルの最適化により、より優れた近似が得られるか？
• RQ5 理論的枠組みである圧縮ベクトルマシン（Burges & Schölkopf, 1999）は、現代の計算リソースを用いて実証的に検証され、改善可能か？

主な発見

• CVMは、評価されたすべてのデータセットで、元のサポートベクトル数の10%未満で、フルSVMモデルの精度と1%以内の差で分類性能を達成した。
• MNISTデータセットでは、CVMはわずか10個のサポートベクトルで95%以上の精度を維持し、テスト時のコストを複数オーダー単位で削減した。
• 同じ数のサポートベクトルを用いた場合、CVMはReduced-SVM や LARS-SVM よりも高い精度を示した。特に、圧縮比が低い場合に顕著な優位性を示した。
• 連続空間上でのサポートベクトル位置の勾配ベース最適化は、訓練データからの離散的選択に比べ、近似品質を著しく向上させた。
• 20news や MNIST といった大規模データセットでは、CVMにより推論時間を数時間から数秒にまで短縮したが、高い精度を維持した。
• 本手法は、画像、テキスト、表形式データなど多様なデータタイプにわたり、一貫した性能向上を示し、強固な性能を発揮した。