[論文レビュー] Large-Scale Approximate Kernel Canonical Correlation Analysis

Weiran Wang, Karen Livescu|arXiv (Cornell University)|Jan 1, 2016

Neural Networks and Applications被引用数 21

ひとこと要約

本稿では、大規模な近似カーネルコインダクティブコアレーション分析（KCCA）のスケーラブルな確率的最適化手法を提案する。ランダム特徴マッピングと確率的CCAを組み合わせることで、大規模データセット上での計算を効率化する。標準のワークステーション上でも140万件の音声サンプル（10万次元の特徴空間）に対してKCCAをスケーリングし、従来のKCCAでは実行不可能な計算コストを克服した。

ABSTRACT

Abstract: Kernel canonical correlation analysis (KCCA) is a nonlinear multi-view representation learning technique with broad applicability in statistics and machine learning. Although there is a closed-form solution for the KCCA objective, it involves solving an $N imes N$ eigenvalue system where $N$ is the training set size, making its computational requirements in both memory and time prohibitive for large-scale problems. Various approximation techniques have been developed for KCCA. A commonly used approach is to first transform the original inputs to an $M$-dimensional random feature space so that inner products in the feature space approximate kernel evaluations, and then apply linear CCA to the transformed inputs. In many applications, however, the dimensionality $M$ of the random feature space may need to be very large in order to obtain a sufficiently good approximation; it then becomes challenging to perform the linear CCA step on the resulting very high-dimensional data matrices. We show how to use a stochastic optimization algorithm, recently proposed for linear CCA and its neural-network extension, to further alleviate the computation requirements of approximate KCCA. This approach allows us to run approximate KCCA on a speech dataset with $1.4$ million training samples and a random feature space of dimensionality $M=100000$ on a typical workstation.

研究の動機と目的

• 大規模データセットにおけるカーネルコインダクティブコアレーション分析（KCCA）の高い計算コストを軽減すること。
• ランダム特徴近似を活用してKCCAにおけるメモリおよび時間的要件を削減すること。
• 高次元のランダム特徴空間への確率的最適化を適用することで、近似KCCAのスケーラビリティを向上させること。
• 実世界の大規模データセット（例：100万件を超えるサンプルを有する音声データ）へのKCCAの実用的導入を可能にすること。
• 確率的最適化が高次元のランダム特徴行列を効果的に処理できることを示し、近似品質を損なわないこと。

提案手法

• カーネル評価を近似するためのランダム特徴マッピングを用い、入力をM次元空間に変換する。この空間における内積がカーネル値を近似する。
• ランダム特徴空間における変換済みデータに対して線形CCAを適用し、カーネル近似を介して非線形表現を学習する。
• 従来、線形CCAおよびそのニューラルネットワーク版に用いられていた確率的最適化アルゴリズムを導入し、CCAステップの計算コストを削減する。
• ミニバッチによるデータ最適化を実施し、バッチ固有値分解と比較して、メモリおよび時間的複雑度を顕著に低減する。
• ランダム特徴近似と確率的CCAを統合することで、N > 100万件のサンプルおよびM = 10万次元の特徴を有するデータセットへのKCCAのスケーリングを実現する。
• 標準的なランダムフーリエ特徴または他のシフト不変カーネル近似を用いることで、近似精度を維持しながら効率的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 近似KCCAの線形CCAステップに確率的最適化を効果的に適用することで、計算コストを低減できるか？
• RQ2 提案手法は、高次元のランダム特徴空間を持つ大規模データセットにどのようにスケーリングされるか？
• RQ3 大規模KCCAにおける確率的最適化を用いる際の、近似精度と計算効率のトレードオフは何か？
• RQ4 本手法は、100万件を超えるサンプルおよび高次元特徴マッピングを有する実世界のデータセットを処理できるか？
• RQ5 確率的アプローチは、スケーラビリティを実現しながらも、従来のKCCAと同等の表現力を持つのか？

主な発見

• 提案手法により、標準KCCAではO(N²)のメモリおよび時間的複雑度のため実行不可能な140万件のトレーニングサンプルを有するデータセットに対しても、近似KCCAがスケーリング可能となった。
• 10万次元のランダム特徴空間を用いることで、大規模音声データに対して効果的な非線形表現学習が達成された。
• 確率的最適化により、CCAステップの計算負荷が軽減され、専用ハードウェアを必要としない標準ワークステーション上でもトレーニングが可能となった。
• バッチ固有値分解と比較して、KCCAの表現力は維持しつつも、大幅にスケーラビリティが向上した。
• ランダム特徴近似と確率的CCAを組み合わせることが、大規模マルチビュー表現学習に実用的かつ効率的な解決策であると示された。
• 本フレームワークは一般性を有し、高次元特徴マッピングと効率的最適化を要する他のカーネル手法への応用が可能である。