[論文レビュー] Parameter-Free Spectral Kernel Learning

Qi Mao, Ivor W. Tsang|arXiv (Cornell University)|Mar 15, 2012

Face and Expression Recognition参考文献 14被引用数 8

ひとこと要約

本論文は、グラフラプラシアンのスペクトル分解を活用して、数値最適化を必要とせず解析的に新しいカーネル行列を構築する、ハイパーパrameterを必要としないスペクトルカーネル学習手法を提案する。ラベル付きデータにおけるカーネルターゲットアライメントを最大化することで、閉形式でモデルパラメータを自動的に学習し、ハイパーパrameterのチューニングなしに、ベンチマークデータセット上でファインチューニングされた多様体正則化と同等の性能を達成するとともに、複数のカーネル学習を上回る性能を示す。

ABSTRACT

Due to the growing ubiquity of unlabeled data, learning with unlabeled data is attracting increasing attention in machine learning. In this paper, we propose a novel semi-supervised kernel learning method which can seamlessly combine manifold structure of unlabeled data and Regularized Least-Squares (RLS) to learn a new kernel. Interestingly, the new kernel matrix can be obtained analytically with the use of spectral decomposition of graph Laplacian matrix. Hence, the proposed algorithm does not require any numerical optimization solvers. Moreover, by maximizing kernel target alignment on labeled data, we can also learn model parameters automatically with a closed-form solution. For a given graph Laplacian matrix, our proposed method does not need to tune any model parameter including the tradeoff parameter in RLS and the balance parameter for unlabeled data. Extensive experiments on ten benchmark datasets show that our proposed two-stage parameter-free spectral kernel learning algorithm can obtain comparable performance with fine-tuned manifold regularization methods in transductive setting, and outperform multiple kernel learning in supervised setting.

研究の動機と目的

• 半教師付きカーネル学習手法におけるハイパーパrameterチューニングの課題に対処すること。
• ラベルなしデータからの多様体構造を正則化最小二乗法（RLS）とシームレスに統合する手法の開発。
• RLSにおけるトレードオフパラメータおよびラベルなしデータ重み付けの数値最適化ソルバーや手動チューニングの必要性を排除すること。
• ラベル付きデータにおけるカーネルターゲットアライメントの最大化により、閉形式でモデルパラメータを自動学習すること。
• ファインチューニングされた多様体正則化および複数のカーネル学習と比較して、帰納的および教師あり設定の両方で競争力のある性能を示すこと。

提案手法

• 本手法は、グラフラプラシアンのスペクトル分解を用いて、数値最適化を必要とせず解析的に計算可能な新しいカーネル行列を構築する。
• ラベルなしデータの多様体構造を、カーネル行列の閉形式表現を通じてRLSと統合する。
• RLSのトレードオフパラメータおよびラベルなしデータのバランスパラメータを含むモデルパラメータは、ラベル付きデータにおけるカーネルターゲットアライメントの最大化により自動的に学習される。
• カーネルターゲットアライメントはラベル付きデータを用いて計算され、反復的ソルバーを回避する閉形式で最適化される。
• 2段階のフレームワークとして実装される：第1にスペクトルカーネルの構築、第2にアライメント最大化による自動パラメータ学習。
• 最終的なカーネル行列は解析的に導出され、計算効率とハイパーパラメータフリーな動作を保証する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを活用しつつ、ハイパーパラメータチューニングを一切必要としないカーネル学習手法を開発できるか？
• RQ2 グラフラプラシアンのスペクトル分解を用いて、数値最適化を伴わずにカーネル行列を解析的に構築することは可能か？
• RQ3 RLSのトレードオフパラメータやラベルなしデータ重み付けといったモデルパラメータを、カーネルターゲットアライメントにより自動で学習できるか？
• RQ4 ハイパーパラメータチューニングなしのパラメータフリー手法の性能は、ファインチューニングされた多様体正則化および複数のカーネル学習と比較してどうなるか？
• RQ5 閉形式の解を得つつも、競争力のある一般化性能を維持できるカーネル学習の閉形式解が達成可能か？

主な発見

• 提案手法は、10のベンチマークデータセットにおいて、帰納的設定でファインチューニングされた多様体正則化と同等の性能を達成した。
• ハイパーパラメータチューニングなしに、教師あり学習の場面で複数のカーネル学習を上回った。
• 数値最適化ソルバーの必要性が排除され、カーネル構築がより高速かつ安定的になった。
• モデルパラメータはカーネルターゲットアライメントにより自動学習され、RLSのトレードオフやラベルなしデータのバランスパラメータの手動チューニングは不要だった。
• スペクトル分解を用いてカーネル行列が解析的に導出され、計算効率と理論的堅牢性が保証された。
• 2段階のフレームワークは、多様体構造とRLSをハイパーパラメータフリーに効果的に統合し、強力な実験的性能を示した。