[論文レビュー] On $\ell_p$-Support Vector Machines and Multidimensional Kernels

Víctor Blanco, Justo Puerto+1 more|arXiv (Cornell University)|Nov 28, 2017

Tensor decomposition and applications参考文献 20被引用数 3

ひとこと要約

本稿は、$p > 1$ の $β$-ノルムにわたるサポートベクターマシンを拡張し、プライマルおよびデュアル問題を二次錐計画法および多項式最適化として定式化する。多変量カーネル（同次多項式および実テンソルに基づく）を導入し、カーネルトリックを一般化し、モーメント-SOCPおよびシューディンガー空間近似を用いて効率的な分類を可能にする。実験的結果では、特に $\ell_{4/3}$-ノルムにおいて、$β$-SVM よりも競争的または優れた精度を示している。

ABSTRACT

In this paper, we extend the methodology developed for Support Vector Machines (SVM) using $\ell_2$-norm ($\ell_2$-SVM) to the more general case of $\ell_p$-norms with $p\ge 1$ ($\ell_p$-SVM). The resulting primal and dual problems are formulated as mathematical programming problems; namely, in the primal case, as a second order cone optimization problem and in the dual case, as a polynomial optimization problem involving homogeneous polynomials. Scalability of the primal problem is obtained via general transformations based on the expansion of functionals in Schauder spaces. The concept of Kernel function, widely applied in $\ell_2$-SVM, is extended to the more general case by defining a new operator called multidimensional Kernel. This object gives rise to reformulations of dual problems, in a transformed space of the original data, which are solved by a moment-sdp based approach. The results of some computational experiments on real-world datasets are presented showing rather good behavior in terms of standard indicators such a extit{accuracy index} and its ability to classify new data.

研究の動機と目的

• 標準的な $β$-SVM を一般化する $β$-ノルムサポートベクターマシン（$β$-SVM）の統一的理論枠組みを構築すること。
• $β$-SVM の中心的役割を果たすカーネルトリックを、ユークリッドノルムを超えて一般化すること。
• 二次錐計画法と多項式最適化を用いたスケーラブルなプライマルおよびデュアル定式化を提供すること。
• 明示的なデータマッピングなしに、モーメント-SOCPおよびシューディンガー空間に基づく関数近似を用いて効率的な解法を可能にすること。
• 実世界のデータセットを用いた $β$-SVM の性能を、異なるノルムおよびカーネルタイプに関して実験的に評価すること。

提案手法

• プライマルにおいて $β$-SVM を二次錐計画法（SOCP）として定式化し、錐最適化を用いたスケーラブルな解法を可能にする。
• デュアル問題を、同次多項式を含む多項式最適化問題に再定式化し、モーメント-SOCP手法の適用を可能にする。
• 適切な次数および次元を持つ対称実テンソルを用いて定義される、標準的カーネル関数の一般化としての多変量カーネルの概念を導入する。
• 対称実テンソルが有効な多変量カーネル関数を誘導するための十分条件を確立する。
• 最適解に収束する一連の半正定値計画問題を解くことで、デュアル問題をモーメント-SOCPアプローチで解く。
• シューディンガー空間における限定的展開を用いて、明示的なデータマッピングなしに関数変換を近似し、$β$-SVM の文脈においてカーネルトリックを保持する。

実験結果

リサーチクエスチョン

• RQ1 $p > 1$ の任意の $β$-ノルムにわたる $β$-SVM フレームワークを、計算的実行可能性を維持したまま一般化する方法は何か？
• RQ2 $β$-ノルムのケースを超えて、$β$-SVM におけるカーネルトリックの適切な一般化は何か？
• RQ3 同次多項式および実テンソルに基づく多変量カーネル関数は、$β$-SVM における非線形分類を効果的に可能にするか？
• RQ4 異なる $β$-ノルム（$\ell_{4/3}$、$\ell_2$ など）は、分類精度およびスパarsity の観点でどのように比較されるか？
• RQ5 明示的なデータ変換なしに、シューディンガー空間における関数近似を用いて、カーネルトリックをどの程度 $β$-SVM で保持できるか？

主な発見

• $\ell_{4/3}$-ノルムは、複数のデータセットにおいて一貫して最高またはほぼ最高のテスト精度を達成し、いくつかのケースで標準的な $\ell_2$-SVM を上回った。
• cleveland および german credit データセットでは、$\widetilde{\Phi}[\eta]$ における非線形変換（$\eta = 4$ および $\eta = 3$）が線形変換よりも高いテスト精度をもたらし、非線形性の利点を示した。
• $\ell_2$-SVM は、直接的な二次形式による定式化のおかげで最も速く解かれたが、他のノルム（$\ell_{4/3}$ など）は、$\omega$-係数の非ゼロ数が少ないという優れたスパarsity を示した。
• 過学習が観察された：完全な訓練精度（$100\%$）が、特に高次元変換においてもより良いテスト性能を保証するとは限らなかった。
• 多変量カーネルフレームワークは、モーメント-SOCPによる収束保証とともに、$\ell_p$-SVM の文脈においてカーネルベース分類を成功裏に実現した。
• シューディンガー空間に基づくアプローチにより、明示的なデータマッピングなしに関数変換を効果的に近似でき、カーネルトリックの効率性を保持した。