[論文レビュー] A kernel method for canonical correlation analysis

Shotaro Akaho|ArXiv.org|Sep 13, 2006

Face and Expression Recognition参考文献 8被引用数 459

ひとこと要約

本稿では、正則化を組み込むことで過学習を防ぐ非線形拡張であるカーネル線形的コインダクション分析（KCCA）を提案する。この手法はカーネル関数を用いてデータを高次元の特徴空間にマップし、カーネルトリックにより計算を効率化することで、複雑な非線形関係を捉えることができる。シミュレーションでは高い相関係数を達成し、パターン認識タスクにおけるマルチモーダル特徴抽出の有効性が示された。

ABSTRACT

Canonical correlation analysis is a technique to extract common features from a pair of multivariate data. In complex situations, however, it does not extract useful features because of its linearity. On the other hand, kernel method used in support vector machine is an efficient approach to improve such a linear method. In this paper, we investigate the effectiveness of applying kernel method to canonical correlation analysis.

研究の動機と目的

• 画像や音声などのマルチモーダルデータ間の非線形関係を捉えることができない線形CCAの限界を解消すること。
• サポートベクターマシンと同様のカーネル手法を用いて、線形CCAを拡張し、非線形特徴抽出を可能にすること。
• 高次元データにおける一般化性能を向上させるために、正則化をカーネルCCAフレームワークに組み込むこと。
• ニューラルネットワークベースの非線形CCAよりも局所最適解が少なく、計算コストも低い、計算的に効率的な代替手法を提供すること。
• 情報理論的手法（例：マルチモーダルICA）と統合することで、ノイズ条件の変化に応じたより優れた特徴表現を得ることを検討すること。

提案手法

• 非線形特徴写像 $\phi_x$ および $\phi_y$ を用いて、入力空間から高次元の再生核ヒルバート空間へのデータのマッピングを行う。
• ヒルベルト空間内の内積をカーネル関数 $k_x({\bf x}_i, {\bf x}_j) = \langle \phi_x({\bf x}_i), \phi_x({\bf x}_j) \rangle$ に置き換えることでカーネルトリックを適用し、$\phi$ の明示的計算を回避する。
• 訓練データの特徴空間における線形結合としての正規化ベクトルを表す：$a = \sum_i \alpha_i \phi_x({\bf x}_i)$。
• 最適化問題が適切に定義され、過学習を回避できるように、2次正則化項 $\frac{\eta}{2}(\|a\|^2 + \|b\|^2)$ を導入する。
• 訓練サンプルから構築したカーネル行列に対する固有値分解を用いて、正則化ラグランジュ関数を解く。
• 非線形依存関係をモデル化するために、実験では $\eta = 0.1$、$\sigma = 0.1$ のガウスカーネルを用いる。

実験結果

リサーチクエスチョン

• RQ1 カーネル手法は、マルチモーダルデータ間の非線形関係を効果的に線形CCAに拡張できるか？
• RQ2 正則化は、高次元特徴空間におけるカーネルCCAの一般化性能をどのように向上させるか？
• RQ3 相関係数と計算効率の観点から、従来のCCAおよびニューラルネットワークベースの非線形CCAと比較して、カーネルCCAの性能はいかがなものか？
• RQ4 ノイズレベル（例：低ノイズ対高ノイズ）が異なる条件下で、カーネルCCAは情報理論的手法（例：マルチモーダルICA）を上回るか、あるいは補完的であるか？
• RQ5 相関係数が高くなる状況において、カーネルCCAをエントロピーがより高い特徴空間分布を促進するように適合可能か？

主な発見

• カーネルCCAは、シミュレーションデータにおいて強い非線形関係を効果的に捉え、テストデータにおける最初の特徴ペア（$u_1$ と $v_1$）間の相関係数が 0.97 に達した。
• 2番目のコインダクション変数ペアについても高い相関（0.95）を示し、この手法がデータから複数の非線形成分を効果的に抽出できることを示している。
• シミュレーション2では、標準CCAよりも明確に $x$–$y$ 図におけるクラス構造を分離しており、優れた非線形特徴抽出能力が裏付けられた。
• ニューラルネットワークベースの非線形CCAと比較して、局所最適解を回避し、計算コストも低減している。
• 正則化パラメータ $\eta = 0.1$ およびガウスカーネル $\sigma = 0.1$ が安定で高い性能を発揮したため、パラメータチューニングが最適性能を発揮するために重要であると示唆された。
• ノイズレベルが低い場合、カーネルCCAはほぼ完璧な相関を達成しており、相互情報量が最大化され、この領域では手法が有効であることが示された。