[論文レビュー] Optimization Over Zonotopes and Training Support Vector Machines

Marshall Bern, David Eppstein|ArXiv.org|May 8, 2001

Advanced Combinatorial Mathematics参考文献 12被引用数 5

ひとこと要約

この論文は、サポートベクターマシン（SVMs）とゾノトープ—線分のミンコフスキー和として形成される多面体—の間の幾何的関係を確立し、C-SVMの学習のための新しい最適化フレームワークを可能にする。楕円体法とゾノトープのコンパクト表現を活用することで、サンプル数に対して近線形で、次元および精度に対して多項式の依存関係を示す多項式時間アルゴリズムを提示しており、C→∞の極限における明示的特徴ベクトルに対して理論的効率性を達成する。

ABSTRACT

We make a connection between classical polytopes called zonotopes and Support Vector Machine (SVM) classifiers. We combine this connection with the ellipsoid method to give some new theoretical results on training SVMs. We also describe some special properties of soft margin C-SVMs as parameter C goes to infinity.

研究の動機と目的

• SVM学習とゾノトープ—コンパクト表現を有する凸多面体のクラス—の理論的関係を確立すること。
• ゾノトープの幾何的構造を活用したC-SVMのための新しい最適化フレームワークを開発すること。
• 明示的特徴ベクトルを用いたC-SVMの学習が、nに対して近線形で、dに対して多項式の時間で解けることを示し、標準的なn+d変数の定式化を回避すること。
• C→∞の極限におけるC-SVMの結果から得られる自然な点集合の分離可能性の測度を調査すること。
• ゾノトープ上での二次計画法に強い多項式時間アルゴリズムが存在するかを検討すること。

提案手法

• 論文は、ソフトマージンSVM問題を、正ラベル付きベクトルからなるゾノトープと負ラベル付きベクトルからなるゾノトープの交差における線形最適化としてモデル化する。
• 各ゾノトープは、特徴ベクトルに対応する線分のミンコフスキー和として定義され、係数が[0,1]に属するもので、凸結合を表す。
• 著者らは、凸最適化のための楕円体法を用い、ゾノトープの分離オракルが多項式時間で解けることを利用している。
• 分離オラクルは、ゾノトープの生成線分上での線形計画問題を解くことで効率的に実装され、nに対して線形で、dに対して多項式の時間で実行される。
• 最適化の目的関数は、2つのゾノトープの交差における(d+1)番目の座標が最大となる点を見つけることでマージンを最大化する。
• ゾノトープは生成ベクトルを用いたコンパクト表現を有するため、頂点や面の列挙を避けることができるという事実を活用している。

実験結果

リサーチクエスチョン

• RQ1 明示的特徴ベクトルを用いたC-SVMの学習が、nに対して近線形で、dに対して多項式の時間で最適化可能か。標準的なn+d変数の定式化を回避できるか。
• RQ2 ゾノトープの観点から見たSVM意思決定境界の幾何的構造は何か。それを効率的な最適化にどう活用できるか。
• RQ3 C→∞の極限が、R^d内に存在する点集合間の自然な分離可能性の測度とどのように関係するか。
• RQ4 ゾノトープの組合せ的構造を考慮すると、二次計画法に強い多項式時間アルゴリズムが存在するか。
• RQ5 ゾノトープ表現を介して、SVM学習に楕円体法を効果的に適用できるか。理論的高速化が達成できるか。

主な発見

• 論文は、R^d内にn本の線分から定義される2つのゾノトープの交差上での最適化に、多項式時間で実行可能なアルゴリズムを提示しており、実行時間はnに対して線形で、d、L、log nに対して多項式の依存関係を示す。
• 明示的特徴ベクトルを用いたC-SVMでは、算術演算の回数がnに対して線形で、d、L、log nに対して多項式の依存関係を示し、標準的なO((n+d)^3 L)の境界を著しく改善する。
• この効率性は、ゾノトープのミンコフスキー和のコンパクト表現を活用することで達成されており、完全な頂点や面の列挙を回避している。
• この方法により、特徴空間の複雑さと訓練サンプル数の複雑さを分離する、SVM学習の新しい理論的枠組みが提供される。
• C→∞の極限において、アルゴリズムは正例と負例が線形分離可能となる最大のμ値を計算し、自然な分離可能性の測度を提供する。
• 結果から、ゾノトープはO(n)のグラフ直径と組合せ的構造を有するため、二次計画法に強い多項式時間アルゴリズムが存在する可能性が示唆される。