[論文レビュー] Suboptimal Solution Path Algorithm for Support Vector Machine

Masayuki Karasuyama, Ichiro Takeuchi|arXiv (Cornell University)|May 3, 2011

Metaheuristic Optimization Algorithms Research参考文献 10被引用数 10

ひとこと要約

本稿では、サポートベクターマシン（SVM）のための部分最適な解パスアルゴリズムを提案する。この手法は、ユーザーが定めた最適性許容誤差内において、各ブレークポイントで複数のアクティブ制約を同時に変更することを許容することで、計算コストを低減する。この方法により、正確な解パスと同等の一般化性能を維持しつつ、特に許容誤差が大きい場合に、ブレークポイント数とCPU時間の両方を顕著に削減できる。

ABSTRACT

We consider a suboptimal solution path algorithm for the Support Vector Machine. The solution path algorithm is an effective tool for solving a sequence of a parametrized optimization problems in machine learning. The path of the solutions provided by this algorithm are very accurate and they satisfy the optimality conditions more strictly than other SVM optimization algorithms. In many machine learning application, however, this strict optimality is often unnecessary, and it adversely affects the computational efficiency. Our algorithm can generate the path of suboptimal solutions within an arbitrary user-specified tolerance level. It allows us to control the trade-off between the accuracy of the solution and the computational cost. Moreover, We also show that our suboptimal solutions can be interpreted as the solution of a \emph{perturbed optimization problem} from the original one. We provide some theoretical analyses of our algorithm based on this novel interpretation. The experimental results also demonstrate the effectiveness of our algorithm.

研究の動機と目的

• SVMの正確な解パスアルゴリズムの高い計算コスト、特にブレークポイント数の多さに起因する問題を解決すること。
• SVM最適化における解の精度と計算効率の間で制御可能なトレードオフを可能にすること。
• 部分最適解を摂動を加えた元の最適化問題の最適解として理論的に解釈すること。
• 近似解（例：SMOによるもの）から初期化可能な実用的なアルゴリズムを開発すること。
• 部分最適パスが正確なパスと同様のアクティブセットのパターンと分類性能を維持していることを示すこと。

提案手法

• 正確な解パスを変更し、各ブレークポイントで最大B個のアクティブ制約を同時に変更することを許容することで、総ブレークポイント数を削減する。
• 複数のアクティブセット変更に起因する退化（degeneracy）に対処するため、線形方程式系とKKT条件に対する効率的かつ正確な更新戦略を採用する。
• 部分最適解を、元のSVM最適化問題の摂動版の最適解として解釈する。
• 近似解から初期化可能なウォームスタート戦略を用いることで、厳密に最適でない点からでも効率的なパス追跡が可能になる。
• アルゴリズムは、ランクmの更新（1 ≤ m ≤ B）を用いて、アクティブセットと線形方程式系を動的に更新する。ここでBは同時に変更を許容する最大数である。
• ユーザーが許容誤差εを指定し、これにより部分最適性の度合い、つまり精度と速度のトレードオフを制御する。

実験結果

リサーチクエスチョン

• RQ1 部分最適な解パスアルゴリズムは、一般化性能を損なわせることなく、SVMにおけるブレークポイント数と計算コストを削減できるか？
• RQ2 提案手法が摂動を加えた最適化問題の解として解釈されることにより、理論的性質や安定性にどのような影響を与えるか？
• RQ3 同時に変更を許容するアクティブセット変更の最大数Bを変化させた場合、計算効率とパス品質にどのような影響があるか？
• RQ4 部分最適パスと正確なパスの間で、アクティブセットのダイナミクスと分類性能はどれほど類似しているか？
• RQ5 厳密な最適性を満たさないにもかかわらず、SMOが生成するような近似解から、このアルゴリズムを効果的に初期化できるか？

主な発見

• 部分最適な解パスアルゴリズムは、正確なパスと比較して、CPU時間を最大50％まで削減した。特に許容誤差εを0.5に設定した場合に顕著であった。
• ブレークポイント数は顕著に削減され、特に許容誤差が大きい場合に、CPU時間の削減率と密接に一致した。
• 正確なパスと部分最適パスの間でアクティブセットの所属関係の差は平均で10％未満にとどまり、アクティブセットダイナミクスの類似性が示された。
• 部分最適解のテスト誤差率は正確なパスとほとんど同一であった。インターネット広告データセットでは、正確なパスが0.0326、部分最適パスが0.0328であった。
• Bをn（同時に変更を許容する上限なし）に設定した場合、B=10のときと比較してCPU時間が増加した。これは、Bの値が大きすぎるとうまくいかない可能性があることを示唆している。
• すべてのテストデータセット（a5a, w5a, spam, インターネット広告）において、部分最適パスの一般化性能は正確なパスと同等であった。