[論文レビュー] On Column Selection in Approximate Kernel Canonical Correlation Analysis

Weiran Wang|arXiv (Cornell University)|Feb 5, 2016

Face and Expression Recognition参考文献 24被引用数 4

ひとこと要約

本稿では、リッジリッジスコアを用いて近似精度を向上させる非一様なカラム選択戦略を、Nyström近似を用いた近似カーネル線形判別分析（KCCA）に提案する。訓練誤差および出外れサンプルのカーネル安定性に関する理論的バウンドを確立し、複数の近似ランクにおける効率的なモデル選択を可能にするインクリメンタルアルゴリズムを導入する。実世界および合成データセットにおいて、一様サンプリングを上回る性能を示す。

ABSTRACT

We study the problem of column selection in large-scale kernel canonical correlation analysis (KCCA) using the Nyström approximation, where one approximates two positive semi-definite kernel matrices using "landmark" points from the training set. When building low-rank kernel approximations in KCCA, previous work mostly samples the landmarks uniformly at random from the training set. We propose novel strategies for sampling the landmarks non-uniformly based on a version of statistical leverage scores recently developed for kernel ridge regression. We study the approximation accuracy of the proposed non-uniform sampling strategy, develop an incremental algorithm that explores the path of approximation ranks and facilitates efficient model selection, and derive the kernel stability of out-of-sample mapping for our method. Experimental results on both synthetic and real-world datasets demonstrate the promise of our method.

研究の動機と目的

• 大規模なカーネル線形判別分析（KCCA）の近似精度を向上させるために、一様ランドマークサンプリングに代えてデータ依存の非一様サンプリング戦略を導入すること。
• カーネルリッジ回帰から拡張されたリッジリッジスコアに基づく理論的根拠に基づいた、NyströmベースのKCCAに適したカラム選択法を開発すること。
• 訓練近似誤差（線形判別相関誤差）および出外れサンプルマッピングの安定性に関する理論的保証を提供すること。
• 複数の近似ランクにわたる解を再計算せずに効率的に計算できるインクリメンタルアルゴリズムを設計すること。
• 非一様サンプリングが一様サンプリングを上回ることを、相関精度および収束速度の観点から実証的に検証すること。

提案手法

• 訓練セットからランドマーク点を選択することで、中心化された2つのカーネル行列 $\overline{\mathbf{K}}_1$ および $\overline{\mathbf{K}}_2$ をNyström法で近似する。
• 各ビューごとに計算されたリッジリッジスコアに基づく非一様サンプリング戦略を提案し、ランドマーク点の選択確率を重みづけする。
• 線形判別相関の近似誤差に対して上界を導出する。誤差を個々のビューの寄与に分解し、カーネル差のスペクトルノルムを用いる。
• 以前の低ランク近似を再利用することで、増加するランクにおける解を効率的に計算できるインクリメンタルアルゴリズムを導入し、迅速なモデル選択を可能にする。
• Nyström近似誤差の観点から、真のカーネルマッピングと近似カーネルマッピングの差をバウンドすることで、出外れサンプルマッピングのカーネル安定性を確立する。
• KCCA定式化における中心化されたカーネル行列を扱うために、行列 $\mathbf{H} = \mathbf{I} - \frac{1}{N}\mathbf{1}\mathbf{1}^T$ を用いた中心化変換を適用する。

実験結果

リサーチクエスチョン

• RQ1 リッジリッジスコアに基づく非一様サンプリングは、一様サンプリングに比べてカーネル線形判別分析の近似精度を向上させることができるか？
• RQ2 線形判別相関の近似誤差および出外れサンプルマッピングの安定性に対して、どのような理論的保証を確立できるか？
• RQ3 複数の近似ランクにわたる解を再計算から再び計算せずに効率的に計算できるインクリメンタルアルゴリズムをどのように設計できるか？
• RQ4 2つのビュー間の相互作用は、KCCAにおけるランドマーク選択の性能にどのように影響し、サンプリング戦略で活用できるか？
• RQ5 提案手法は、実世界および合成データセットにおいて、一様サンプリングおよびベースラインKCCAに比べてより優れた相関性能を達成するか？

主な発見

• リッジリッジスコアに基づく非一様サンプリング戦略は、合成データおよび実世界データ（JW11データセット含む）において、一様サンプリングよりも高い線形判別相関精度を達成する。
• JW11データセットでは、ランク5000で相関値101.5を達成し、一様サンプリング（100.8）およびリッジベースの一様サンプリング（98.4）を上回った。
• 理論的分析により、線形判別相関の近似誤差は、フルカーネル行列と近似カーネル行列の差のスペクトルノルムによってバウンドされ、リッジスコア分布に明示的な依存関係を示す。
• インクリメンタルアルゴリズムにより、複数のランクにおける解の計算が効率的に行えるようになり、各ランクで再計算する場合と比較して計算コストが削減された。
• 出外れサンプルマッピングのカーネル安定性バウンドが導出され、この手法が訓練セットを超えた一般化性能を安定的に維持できることを示した。
• 実験的結果から、リッジリッジスコアは性能向上に寄与するが、大規模データセットにおける正確なスコアの計算の難易度およびKCCAにおける2つのビュー間の複雑な相互作用のため、その向上は限定的であることが示された。