[論文レビュー] Improving Efficiency of SVM k-fold Cross-validation by Alpha Seeding

Zeyi Wen, Bin Li+4 more|UWA Profiles and Research Repository (UWA)|Nov 23, 2016

Anomaly Detection Techniques and Applications参考文献 17被引用数 6

ひとこと要約

本稿では、k-fold交差検証におけるSVMの高速化を目的として、h番目のfoldで得られたサポートベクタ重み（alpha値）を用いて(h+1)番目のfoldの最適化を初期化する、3種類のアルファシーディングアルゴリズムを提案する。連続するfold間には80%以上の訓練インスタンスが共有されるという類似性を活用することで、標準のLibSVM交差検証と同一の精度を維持しながら、大規模なk（k=100）において最大32倍の高速化を達成する。

ABSTRACT

The k-fold cross-validation is commonly used to evaluate the effectiveness of SVMs with the selected hyper-parameters. It is known that the SVM k-fold cross-validation is expensive, since it requires training k SVMs. However, little work has explored reusing the h-th SVM for training the (h+1)-th SVM for improving the efficiency of k-fold cross-validation. In this paper, we propose three algorithms that reuse the h-th SVM for improving the efficiency of training the (h+1)-th SVM. Our key idea is to efficiently identify the support vectors and to accurately estimate their associated weights (also called alpha values) of the next SVM by using the previous SVM. Our experimental results show that our algorithms are several times faster than the k-fold cross-validation which does not make use of the previously trained SVM. Moreover, our algorithms produce the same results (hence same accuracy) as the k-fold cross-validation which does not make use of the previously trained SVM.

研究の動機と目的

• SVMにおけるk-fold交差検証の高い計算コストを軽減すること。
• 特に連続するfoldが多数の訓練データを共有する場合に、各foldで再訓練を行う非効率性を解消すること。
• h番目のfoldで得られたalpha値（サポートベクタ重み）を用いて、(h+1)番目のfoldの最適化を初期化する手法を開発し、収束速度を向上させること。
• 提案手法が標準のk-fold交差検証と同一のモデル精度を維持しながら、訓練時間を著しく短縮できることを保証すること。
• 性能劣化を引き起こす可能性のある不良なalpha値初期化を回避する効率的な初期化戦略を設計すること。

提案手法

• h番目のfoldのalpha値を用いて(h+1)番目のfoldの最適化を初期化するアルファシーディングに基づく、3段階のプログレッシブなアルゴリズム（ATO、MIR、SIR）を提案する。
• SVMの最適性条件を用いて、h番目のfoldの解に基づき、(h+1)番目のfoldの最適なalpha値を推定する。
• 共有インスタンス仮定を導入：fold間で重複する訓練インスタンスのalpha値は、カーネル類似度に基づいて保持または調整する。
• 古くなったサポートベクタを(h+1)番目のfoldの新しいインスタンスに置き換えるリプレースメント機構を導入し、動的alpha再割り当てを実施する。
• 完全な再初期化を回避する高速な初期化ステップを実装し、追加または削除されたインスタンスにのみ焦点を当ててオーバーヘッドを低減する。
• Sequential Minimal Optimization（SMO）を基盤のソルバーとして採用するが、本手法は他のSVMソルバーに対しても一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 以前に訓練されたSVMのfoldで得られたalpha値を、k-fold交差検証における次のfoldの訓練を高速化するために効果的に再利用できるか？
• RQ2 h番目のfoldの解に基づいて、収束性や精度を損なわずに、(h+1)番目のfoldのalpha値を効率的かつ正確に初期化する方法は何か？
• RQ3 kの値の変化が、アルファシーディングによる性能向上に与える影響は何か。特にkが大きい場合（例：k=100）に顕著な効果が得られるか？
• RQ4 アルファシーディングは、標準のk-fold交差検証と同等のモデル精度を維持するのか、あるいは近似誤差を生じるのか？
• RQ5 提案手法は、多様なデータセットにおいてLibSVMを上回る顕著な高速化を達成できるか。また、同一の結果を維持できるか？

主な発見

• k=100の場合、特にMadelonデータセットにおいて、提案手法のSIRアルゴリズムはLibSVMに比べ最大32倍の高速化を達成した。
• k=10の場合、SIRアルゴリズムはLibSVMよりも数倍速く、全テストデータセットで一貫した性能向上を示した。
• SIRアルゴリズムは全データセットでLibSVMと同一の精度を維持しており、高速化がモデル品質に悪影響を及げないことを確認した。
• k > 2の場合に特に効果的であり、特にk=10では連続するfold間で80%以上の訓練インスタンスが共有されるため、再利用が有効に機能する。
• アルファシーディングの初期化プロセスは十分に効率的であり、オーバーヘッドを相殺し、kが大きい場合でもネットタイムセーブが得られる。
• 実験結果から、本手法は特に大規模なkおよび高次元データセットにおいて、LibSVMを上回る速度とスケーラビリティを実現していることが確認された。