[論文レビュー] A Summary Of The Kernel Matrix, And How To Learn It Effectively Using Semidefinite Programming

Amir-Hossein Karimi|arXiv (Cornell University)|Sep 18, 2017

Face and Expression Recognition参考文献 8被引用数 4

ひとこと要約

本稿では、推論的サポートベクターマシン（SVM）のためのデータからカーネル行列を直接学習するための半定値計画法（SDP）に基づく手法を提示する。この手法により、カーネル行列と2-normソフトマージンパラメータ $ au = 1/C$ の共同最適化が可能となり、多項式時間の計算量を達成するとともに、従来手法に比べて数値的安定性と性能が向上する。

ABSTRACT

Kernel-based learning algorithms are widely used in machine learning for problems that make use of the similarity between object pairs. Such algorithms first embed all data points into an alternative space, where the inner product between object pairs specifies their distance in the embedding space. Applying kernel methods to partially labeled datasets is a classical challenge in this regard, requiring that the distances between unlabeled pairs must somehow be learnt using the labeled data. In this independent study, I will summarize the work of G. Lanckriet et al.'s work on "Learning the Kernel Matrix with Semidefinite Programming" used in support vector machines (SVM) algorithms for the transduction problem. Throughout the report, I have provide alternative explanations / derivations / analysis related to this work which is designed to ease the understanding of the original article.

研究の動機と目的

• 部分的にラベルが付与されたデータセットにおける推論のための最適なカーネル行列を学習するという課題に対処すること。
• テスト例の数に指数関数的に依存しない多項式時間のアルゴリズムを、カーネル行列学習のために開発すること。
• 半定値計画法を用いて、カーネル行列と2-normソフトマージンパラメータ $ au = 1/C$ を同時に最適化すること。
• 基本カーネル行列の正の線形結合を学習することで、数値的安定性と分類性能を向上させること。
• 2-normソフトマージンSVMにおける $ au = 1/C$ パラメータの自動チューニングという未解決問題を解消すること。

提案手法

• カーネル行列学習問題を、正定値性とトレース正規化を保証する制約を含む半定値計画問題（SDP）として定式化する。
• ハードマージン、1-norm、2-normソフトマージンの各ケースを統合する一般化された双対定式を導出する。
• SDPにおける変数としてカーネル行列を用い、族 $/mathcal{K} = \{ \sum_{i=1}^m \mu_i K_i \mid \mu_i \geq 0 \}$ 内のカーネルの最適化を可能にする。
• 1つのSDPソルバを用いて、双対ギャップを最小化するための、プリミナルとデュアル変数の共同最適化フレームワークを導入し、計算量は $O((m + n_{tr})^2 n^{2.5})$ となる。
• SDPフレームワークを用いて、カーネル行列とパラメータ $ au = 1/C$ を同時に学習し、ハイパーパramータの自動チューニングを実現する。
• シュール補行列を用いて双対問題を標準的なSDP形式に再定式化し、凸性と取り扱いやすさを保証する。

実験結果

リサーチクエスチョン

• RQ1 半定値計画法を用いて、データから直接カーネル行列を学習することで、推論性能を向上させることができるか？
• RQ2 2-normソフトマージンパラメータ $ au = 1/C$ は、カーネル学習フレームワーク内で自動的にチューニング可能か？
• RQ3 基本カーネルの正の線形結合からなるカーネル族上でのカーネル行列学習の計算量はどの程度か？
• RQ4 プリミナルとデュアル変数の共同最適化は、双対ギャップを低減させ、収束性を向上させることができるか？
• RQ5 構造化されたカーネル行列を学習することで、固定されたカーネル選択に比べて、数値的安定性と一般化性能が向上するか？

主な発見

• 提案されたSDPベースの手法は、テスト例の数に対して多項式時間の計算量を達成する。これは、バプニクの元来の推論法が指数関数的にスケーリングするのとは対照的である。
• カーネル行列と $ au = 1/C$ の共同最適化により、ソフトマージンパラメータの自動チューニングが可能となり、論文発表当時未解決であった問題を解決した。
• 基本カーネル行列の正の線形結合 $K = \sum \mu_i K_i$ を学習することで、数値的安定性が向上し、計算量が $O(m n_{tr}^3)$ に低減された。
• プリミナルとデュアル変数の共同最適化により双対ギャップが低減され、収束の計算量は $O((m + n_{tr})^2 n^{2.5})$ となった。
• SDP定式化により、学習されたカーネル行列が正定値であることが保証され、特徴空間の幾何的構造が維持された。
• ハードマージン、1-norm、2-normソフトマージンSVMの各ケースを統合する一般化された性能指標に、それらの双対目的を統一することで、フレームワークの一般化が達成された。