[論文レビュー] Finding Linear Structure in Large Datasets with Scalable Canonical Correlation Analysis

Zhuang Ma, Yichao Lu+1 more|arXiv (Cornell University)|Jun 26, 2015

Stochastic Gradient Optimization Techniques参考文献 30被引用数 36

ひとこと要約

本稿では、大規模な正規化相関分析（CCA）のためのスケーラブルでメモリ効率の良いアルゴリズムであるAppGradを提案する。AppGradはCCAを非凸最適化問題に再定式化することで、高価な行列逆行列計算やホワイトニング処理を回避する。拡張近似勾配スキームを用いることで、最適なストレージ複雑性O(k(p₁ + p₂))を達成し、ストリーミングおよび大規模データセット向けの確率的・オンライン最適化を可能にする。これにより、古典的手法やヒューリスティック手法よりも相関の捉え込みに優れ、計算コストを大幅に削減する。

ABSTRACT

Canonical Correlation Analysis (CCA) is a widely used spectral technique for finding correlation structures in multi-view datasets. In this paper, we tackle the problem of large scale CCA, where classical algorithms, usually requiring computing the product of two huge matrices and huge matrix decomposition, are computationally and storage expensive. We recast CCA from a novel perspective and propose a scalable and memory efficient Augmented Approximate Gradient (AppGrad) scheme for finding top $k$ dimensional canonical subspace which only involves large matrix multiplying a thin matrix of width $k$ and small matrix decomposition of dimension $k imes k$. Further, AppGrad achieves optimal storage complexity $O(k(p_1+p_2))$, compared with classical algorithms which usually require $O(p_1^2+p_2^2)$ space to store two dense whitening matrices. The proposed scheme naturally generalizes to stochastic optimization regime, especially efficient for huge datasets where batch algorithms are prohibitive. The online property of stochastic AppGrad is also well suited to the streaming scenario, where data comes sequentially. To the best of our knowledge, it is the first stochastic algorithm for CCA. Experiments on four real data sets are provided to show the effectiveness of the proposed methods.

研究の動機と目的

• 大規模かつ高次元のデータセットにおける古典的CCAアルゴリズムの計算およびストレージのボトル neck を解消すること。
• 完全なホワイトニング行列の明示的計算および保存を避ける、メモリ効率の良い古典的CCAの代替手法を開発すること。
• ストリーミングデータを処理し、データ量が多い環境での実行時間を短縮するため、CCAにおけるオンラインおよび確率的最適化を可能にすること。
• 単純な修正で構造的制約（例：スパarsity）を組み込める柔軟なフレームワークを提供すること。
• 計算的に非現実的であるため古典的手法が失敗する実世界のデータセットにおいて、優れた性能を示すこと。

提案手法

• 大きなホワイトニング行列の直接計算を避けるために、CCAを非凸最適化問題に再定式化する。
• 薄いk×k行列との行列積と小さなk×k特異値分解（SVD）のみを計算する、拡張近似勾配（AppGrad）スキームを提案する。
• p₁²およびp₂²の完全なホワイトニング行列の保存が不要になるため、最適なストレージ複雑性O(k(p₁ + p₂))を達成する。
• ミニバッチでデータを処理する確率的バージョンにAppGradを拡張し、オンライン学習およびストリーミング応用を可能にする。
• AppGradフレームワーク内で効率的なトップ-k特異値分解を実現するため、ランダム化SVDを用いる。
• 勾配ステップと正規化ステップの間にスパarsity誘導型のしきい値処理ステップを統合し、スパースな正準ベクトルの推定を促進する。

実験結果

リサーチクエスチョン

• RQ1 CCAは、高価な行列逆行列計算やホワイトニング処理を避けるために、1次最適化問題に再定式化可能か？
• RQ2 確率的AppGradアルゴリズムは、バッチ手法と同等の相関の捉え込みを達成しながら、計算コストを大幅に削減できるか？
• RQ3 古典的バッチCCAが非現実的であるストリーミングまたは大規模データセットに、AppGradは効率的に適用可能か？
• RQ4 ヒューリスティックCCA変種（例：ホワイトニングなし、対角ホワイトニング、PCA-CCA）と比較して、AppGradは正準相関をどれほど効果的に捉えられるか？
• RQ5 スパarsityなどの構造的制約は、計算効率を損なわずにAppGradフレームワークに自然に組み込めるか？

主な発見

• 確率的AppGradは、Mediamill、MNIST、Penn Tree Bankデータセットにおいて、バッチAppGradとほぼ同等の正準相関の割合（PCC）を達成し、計算コストを著しく削減した。
• メモリおよび実行時間の制約により古典的CCAが失敗するURL Reputationデータセットにおいて、確率的AppGradは、NW-CCA、DW-CCA、PCA-CCAなどのヒューリスティック手法よりも顕著に多くの相関を捉えた。
• データサイズが増加するにつれて、確率的AppGradがバッチAppGradを上回る性能優位性が顕著になり、スケーラビリティの利点が明確になった。
• 確率的AppGradアルゴリズムは、反復回数が増えるにつれて合計相関が滑らかに増加する傾向を示し、効果的なオンライン学習が実現されている。
• しきい値処理を施したAppGradは、スパースな正準ベクトルの推定を可能にし、遅い半正定値計画法やヒューリスティック手法の実用的代替手段を提供する。
• 本手法は最適なストレージ複雑性O(k(p₁ + p₂))を達成しており、古典的手法のO(p₁² + p₂²)に比べて顕著な改善を示している。