[論文レビュー] EnsembleSVM: A Library for Ensemble Learning Using Support Vector Machines

Marc Claesen, Frank De Smet+2 more|arXiv (Cornell University)|Mar 4, 2014

Face and Expression Recognition参考文献 13被引用数 79

ひとこと要約

EnsembleSVM は C++ で作られたソフトウェアライブラリであり、データの小さなブートストラップサブセットに複数の SVM をトレーニングし、予測を多数決で集約することで、大規模なサポートベクターマシン（SVM）学習を高速化する。標準の LIBSVM と比較して、トレーニング時間を最大 95% 削減しながらも、競争力のある精度を維持しており、共有サポートベクターのキャッシュと並列処理を活用することで、効率性とスケーラビリティを実現している。

ABSTRACT

EnsembleSVM is a free software package containing efficient routines to perform ensemble learning with support vector machine (SVM) base models. It currently offers ensemble methods based on binary SVM models. Our implementation avoids duplicate storage and evaluation of support vectors which are shared between constituent models. Experimental results show that using ensemble approaches can drastically reduce training complexity while maintaining high predictive accuracy. The EnsembleSVM software package is freely available online at http://esat.kuleuven.be/stadius/ensemblesvm.

研究の動機と目的

• 大規模データセットにおける非線形 SVM のトレーニングの高い計算複雑性に対処すること。これはトレーニングセットサイズに比例して二次的に増大する。
• アンサンブルに基づく分割統治戦略により、非線形カーネルを用いた大規模学習を現実可能にするために、トレーニング複雑性を低減すること。
• 新しいアンサンブルアルゴリズムの迅速なプロトタイピングを可能にする、高性能で拡張性のあるソフトウェアフレームワークを提供すること。
• ベースモデル間で共有されるサポートベクターを知的にキャッシュおよび再利用することで、メモリと予測のオーバーヘッドを最小限に抑えること。
• LIBSVM と統合可能で、並列トレーニングと予測をサポートするユーザーフレンドリーな LGPL ライセンスのライブラリを提供すること。

提案手法

• ブートストラップに基づくアンサンブル戦略を採用し、トレーニングデータのブートストラップサブセットに複数のインスタンス重み付き SVM をトレーニングする。
• インスタンス固有の正則化重み $ C_i $ を用いた標準的な SVM 最適化問題を採用し、C-SVC やクラス重み付き SVM を一般化する。
• 同じサポートベクターが複数のベースモデル間で重複して保存されないようにするため、共有サポートベクター キャッシュを実装する。
• C++11 の機能と pthread による並列化を活用し、大規模データセットにおける高速なトレーニングと効率的な予測を実現する。
• ベースモデルのトレーニングに LIBSVM をバックエンドとして統合し、柔軟なカーネル選択とバージョン独立性を可能にする。
• モデルのトレーニング、予測、集約方式のカスタマイズに適したモジュラー API とコマンドラインツール（esvm-train、esvm-predict、merge-models、esvm-edit）を提供する。

実験結果

リサーチクエスチョン

• RQ1 SVM を用いたアンサンブル学習は、大規模で非線形な分類タスクにおいて、トレーニング複雑性を顕著に低減できるか？
• RQ2 共有サポートベクター キャッシュは、アンサンブル SVM におけるメモリ効率と予測速度をどの程度向上させられるか？
• RQ3 大規模データセットにおいて、アンサンブル SVM の予測精度は、標準の単一モデル SVM や線形モデルと比べてどうか？
• RQ4 並列化されたサブサンプルトレーニングは、モノリシックな SVM トレーニングと比較して、収束が速く、実行時間が短くなるか？
• RQ5 SVM アンサンブルの文脈において、単純な多数決投票は、より複雑な集約方式と比較してどの程度有効か？

主な発見

• covtype データセット（100k インスタンス）では、EnsembleSVM が LIBSVM の 728 秒から 35 秒にトレーニング時間を短縮し、95% の短縮を達成した。
• ijcnn1 データセットでは、LIBSVM の 9.5 秒から EnsembleSVM の 0.3 秒にまで短縮され、97% の改善が得られた。
• 単純な多数決投票を採用したにもかかわらず、ijcnn1 では 98% のテスト精度を達成し、単一の LIBSVM モデルと同等の性能を示し、LIBLINEAR の 92% を上回った。
• covtype ではアンサンブルが 89% の精度を達成したが、単一の SVM（92%）より 3% 低いが、トレーニング時間が著しく短縮された。
• アンサンブルモデルは、単一モデル（26,516）よりも多くのサポートベクター（例：covtype で 50,590）を有していたが、並列処理と共有 SV の活用により、予測が速くなった。
• ライブラリの並列実装により、サポートベクターの数が多くても LIBSVM よりも高速な予測が可能となり、アーキテクチャ最適化による効率性の向上が実証された。