[論文レビュー] Support Vector Machine Classification with Indefinite Kernels

Ronny Luss, Alexandre d’Aspremont|ArXiv.org|Apr 1, 2008

Sparse and Compressive Sensing Techniques参考文献 19被引用数 17

ひとこと要約

本稿では、正定値でない（正定値でない）カーネルを用いたサポートベクターマシン（SVM）分類のための凸最適化フレームワークを提案する。この手法は、同時にサポートベクターの重みと代理の正定値カーネル行列を学習することで、不定カーネルを真のメルツァー核のノイズ混じりの観測とみなす。これにより、元の非凸問題が凸問題に変換され、投影勾配法や解析的中心カットプレーン法（ACCPM）を用いて収束保証が得られ、大規模データセットに対しても効率的にスケーラブルである。

ABSTRACT

We propose a method for support vector machine classification using indefinite kernels. Instead of directly minimizing or stabilizing a nonconvex loss function, our algorithm simultaneously computes support vectors and a proxy kernel matrix used in forming the loss. This can be interpreted as a penalized kernel learning problem where indefinite kernel matrices are treated as a noisy observations of a true Mercer kernel. Our formulation keeps the problem convex and relatively large problems can be solved efficiently using the projected gradient or analytic center cutting plane methods. We compare the performance of our technique with other methods on several classic data sets.

研究の動機と目的

• 正定値でないためメルツァー条件を満たさないが、実験的に有効な不定カーネルをSVM分類で使用する課題に対処すること。
• 非凸最適化やヒューリスティックなカーネル変換を回避する手法を開発することにより、性能や解釈可能性に悪影響を及えるのを防ぐこと。
• 代理カーネルを、元の不定カーネルからの偏差を最小化する低ランク近似として定式化し、不定カーネル学習を罰則付きカーネル学習問題として定式化すること。
• カーネル学習部の明示的解法を導入することで、問題を凸最適化タスクに再定式化し、計算効率と収束保証を確保すること。
• このフレームワークをサポートベクタ回帰やワンクラスSVMなど、他のカーネル法へ拡張すること。

提案手法

• 不確実性を考慮した真の正定値カーネルのノイズ混じり観測とみなすことで、不定カーネルの凸緩和として代理カーネル行列を導入し、代理カーネルと元のカーネルの差のフロベニウスノルムを最小化する。
• 損失関数を代理カーネルに基づいて定式化した罰則付き最適化問題としてSVM問題を定式化し、凸性と取り扱いやすさを確保する。
• カーネル学習サブプロブレムは明示的に解かれ、SVMの双対最適化とは分離されるため、標準的なカーネル学習手法よりも計算複雑度が低減される。
• 2つのアルゴリズムが用いられる：投影勾配法と解析的中心カットプレーン法（ACCPM）、両者とも収束保証と複雑度バウンズが保証されている。
• 不定カーネルを真の正定値カーネルのノイズ混じり観測とみなすことで、カーネル入力における不確実性をモデル化する。
• 反復最適化中に固有値分解におけるランク1更新を活用することで、大規模なトレーニングを効率的に行える。

実験結果

リサーチクエスチョン

• RQ1 非凸性やヒューリスティックなカーネル修正を回避しつつ、不定カーネルを用いたSVM分類のための凸最適化フレームワークを設計できるか？
• RQ2 分類性能を保持しつつ、不定カーネルをうまく近似できる代理カーネルを明示的に学習できるか？
• RQ3 この再定式化された凸問題を解くアルゴリズムの収束性と計算複雑度特性は何か？
• RQ4 スペクトルカーネル変換やpE空間埋め込みといった既存手法と比較して、本手法の精度と効率性はどのように異なるか？
• RQ5 本フレームワークは、サポートベクタ回帰やワンクラスSVMといった他のカーネル法へも拡張可能か？

主な発見

• 提案手法により、不定カーネルを用いた非凸SVM問題が凸最適化問題に変換され、グローバル収束と効率的な解法が可能になった。
• カーネル学習部は明示的に解かれるため、反復的カーネル学習手法と比較して計算オーバーヘッドが低減された。
• 投影勾配法とACCPMの両方とも最適解に収束するが、ACCPMは線形に高い精度に到達する一方、投影勾配法は初期段階では速く収束するが、高精度に近づくと停滞する。
• USPS-SS-3-5データセットでは、投影勾配法が全実行時間においてSIQCLPを上回り、反復コストが低いことからACCPMよりも効率的であるが、大規模問題では反復回数が多くなる。
• 投影勾配法による双対ギャップは信頼できる停止基準を提供するが、SIQCLPは著しく高い反復コストを伴うものの、よりタイトなギャップを達成する。
• 本フレームワークは、不定カーネルSVMで用いられるヒューリスティック手法に原理的解釈を与え、それらが不確実性下で暗黙的に代理カーネルを学習していることを示している。