[論文レビュー] A Novel Model of Working Set Selection for SMO Decomposition Methods

Zhendong Zhao, Lei Yuan+3 more|arXiv (Cornell University)|Jun 5, 2007

Advanced Algorithms and Applications参考文献 20被引用数 6

ひとこと要約

本稿では、SVM学習における逐次最小最適化（SMO）のための新しい作業集合選択手法、再選択を伴わない作業集合選択（WSS-WR）を提案する。WSS-WRは、選択された変数を将来の再選択から恒久的に除外する。2次情報を利用し、重複する反復を回避することで、特にメモリ制約下でも高速な収束と短い学習時間を実現し、WSS 3 よりも多数のデータセットおよびカーネルタイプで優れた性能を発揮する。

ABSTRACT

In the process of training Support Vector Machines (SVMs) by decomposition methods, working set selection is an important technique, and some exciting schemes were employed into this field. To improve working set selection, we propose a new model for working set selection in sequential minimal optimization (SMO) decomposition methods. In this model, it selects B as working set without reselection. Some properties are given by simple proof, and experiments demonstrate that the proposed method is in general faster than existing methods.

研究の動機と目的

• 反復的または非効率的な作業集合選択による分解法におけるSVM学習の収束遅延を解消すること。
• SMOベースのSVMソルバーにおける反復回数と学習時間を削減すること。
• 小容量のキャッシュなどのメモリ制約下でも効率を維持する作業集合選択戦略の開発。
• WSS 1, WSS 2, WSS 3 などの既存手法を改善し、以前に選択された変数を再選択しないようにすること。
• RBF、シグモイド、多項式カーネルを含む多様なデータセットおよびカーネル関数において、手法の頑健性を検証すること。

提案手法

• 作業集合として変数のペア {i,j} を選択し、以降の反復で再検討しない新しい作業集合選択モデル WSS-WR を提案する。
• 収束を向上させるために、最も有望な双対変数に注目するため、2次情報を利用した選択を実施する。
• 非正定値カーネル行列に対処するため、Chenらのアルゴリズム2を適用し、数値的安定性を確保する。
• 非再選択ポリシーを実装：一度選択された変数ペアは、以降の作業集合候補から恒久的に除外される。
• ヘッセ行列の近似が正定値でない場合に対応するため、正則化項（τ）を含む修正された部分問題定式化を採用する。
• SMOフレームワークに統合し、2変数更新方式を維持しながらも、選択の効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SMOの作業集合選択において、以前に選択された変数ペアの再選択を排除することで、収束が速くなり、学習時間が短縮されるか。
• RQ2 異なるカーネル関数およびデータセットサイズにおいて、WSS-WR と WSS 3 との間で反復回数および学習速度にどのような差が生じるか。
• RQ3 小容量のキャッシュなどのメモリ制約下でも、WSS-WR は性能を維持または向上させるか。
• RQ4 非再選択ポリシーは、収束品質に悪影響を及げることなく、どの程度の重複反復を削減できるか。
• RQ5 特に縮小技術（shrinking）が適用された状況において、WSS-WR はパラメータ選定フェーズと最終学習フェーズの両方でどのように性能を発揮するか。

主な発見

• WSS 3 と比較して、WSS-WR は反復回数を顕著に削減し、データセット全体で反復回数比（WSS 3 / WSS-WR）は 1.12 から 1.38 の範囲に収まる。
• 学習時間が顕著に短縮され、特にパラメータ選定フェーズで顕著で、一部の設定では時間比（WSS 3 / WSS-WR）が最大 3.5 倍に達する。
• WSS-WR は 1MB のキャッシュのみでも高速な収束を維持できるが、WSS 3 はメモリ制約下で性能が急激に低下する。
• a9a, w8a, IJCNN1 などのすべてのテストデータセットにおいて、WSS-WR は『パラメータ選定』および『最終学習』の両フェーズで WSS 3 を上回る。
• LIBSVM における縮小技術は、WSS-WR と組み合わせて用いた場合、ほとんどまたは全く利益をもたらさない。これは、WSS-WR の選択戦略自体がすでに高い効率性を達成していることを示している。
• 収束グラフから、WSS-WR は WSS 3 よりも速く最適な目的関数値に到達し、後期の反復でほとんど進捗がないWSS 3 と比べて早期に終了することが明らかになった。