[論文レビュー] Efficient Algorithms for Large-scale Generalized Eigenvector Computation and Canonical Correlation Analysis

Rong Ge, Chi Jin+3 more|arXiv (Cornell University)|Apr 13, 2016

Sparse and Compressive Sensing Techniques参考文献 26被引用数 40

ひとこと要約

本稿では、大規模な正準相関分析（CCA）および一般化固有ベクトル問題に対する、グローバルに線形収束する反復的アルゴリズムを提示する。CCAはトップ-k一般化固有ベクトル問題に還元され、加速勾配降下を用いた高速な線形方程式系ソルバーを活用する。本手法は $ O\big(\frac{zk\tilde{\rho}}{\rho}\big) $ の実行時間を持つ。ここで $ z $ は非ゼロ要素数、$ \tilde{\rho} $ は条件数、$ \rho $ は固有値ギャップを表す。これは、入力サイズにほぼ線形な依存関係を示す、これらの問題に対して初めての解析的線形収束保証を持つアルゴリズムである。

ABSTRACT

This paper considers the problem of canonical-correlation analysis (CCA) (Hotelling, 1936) and, more broadly, the generalized eigenvector problem for a pair of symmetric matrices. These are two fundamental problems in data analysis and scientific computing with numerous applications in machine learning and statistics (Shi and Malik, 2000; Hardoon et al., 2004; Witten et al., 2009). We provide simple iterative algorithms, with improved runtimes, for solving these problems that are globally linearly convergent with moderate dependencies on the condition numbers and eigenvalue gaps of the matrices involved. We obtain our results by reducing CCA to the top-$k$ generalized eigenvector problem. We solve this problem through a general framework that simply requires black box access to an approximate linear system solver. Instantiating this framework with accelerated gradient descent we obtain a running time of $O(\\frac{z k \\sqrt{\\kappa}}{\ ho} \\log(1/\\epsilon) \\log \\left(k\\kappa/\ ho\ ight))$ where $z$ is the total number of nonzero entries, $\\kappa$ is the condition number and $\ ho$ is the relative eigenvalue gap of the appropriate matrices. Our algorithm is linear in the input size and the number of components $k$ up to a $\\log(k)$ factor. This is essential for handling large-scale matrices that appear in practice. To the best of our knowledge this is the first such algorithm with global linear convergence. We hope that our results prompt further research and ultimately improve the practical running time for performing these important data analysis procedures on large data sets.

研究の動機と目的

• 大規模な設定下での正準相関分析（CCA）および一般化固有ベクトル問題に対する、効率的でスケーラブルなアルゴリズムの開発。
• 大規模データセットでは計算的に不可能なため、$ \mathbf{S}_{xx}^{-1/2} $ のような逆共分散行列の形成を回避すること。
• 条件数および固有値ギャップに改善された実行時間依存性を達成するグローバル線形収束の実現。
• 一般化固有ベクトル計算における反復的手法と高速線形方程式系ソルバーを統合する一般枠組みの提供。
• MNIST や URL レピュテーションデータを含む、小規模および大規模データセットにおけるアルゴリズムの性能を実験的に検証すること。

提案手法

• 共分散行列の変換を用いて、CCA をトップ-k一般化固有ベクトル問題に還元する。
• 近似線形方程式系ソルバーへのブラックボックスアクセスのみを要する一般アルゴリズムフレームワークを用いる。
• 線形方程式系を効率的に解くために、加速勾配降下をフレームワークに適用する。
• 大規模な設定下でスパarsityとミニバッチ処理を活用し、計算効率を維持する。
• 反復生成の真の正準空間との間の主角度 $ \theta_{\mathbf{B}} $ を収束基準として定義し、$ \sin \theta_{\mathbf{B}} $ の単調減少を保証する。
• 実際の応用では、病的に悪条件な行列に対処するため、$ \mathbf{S}_{xx} $ および $ \mathbf{S}_{yy} $ に $ \lambda \mathbf{I} $ を加える正則化を実施する。

実験結果

リサーチクエスチョン

• RQ1 明示的な行列逆行列計算を回避しつつ、CCA および一般化固有ベクトル問題に対して、解析的にグローバルに線形収束するアルゴリズムを設計可能か？
• RQ2 大規模問題において、成分数 $ k $、条件数 $ \kappa $、固有値ギャップ $ \rho $ に対する最適な実行時間依存性は何か？
• RQ3 非ゼロ要素数 $ z $ および $ k $ に対してほぼ線形時間計算量を達成しつつ、線形収束を維持できるか？
• RQ4 大規模データセットにおいて、提案手法は従来のワンショット法および反復的手法と比較して、収束速度および精度で優れるか？
• RQ5 本手法は、URL レピュテーションおよび Penn Tree Bank データセットのようなスパースで高次元なデータに対しても実用的か？

主な発見

• 提案手法は $ O\big(\frac{zk\sqrt{\kappa}}{\rho}\log(1/\epsilon)\log(k\kappa/\rho)\big) $ の実行時間を持つ。$ z $ および $ k $ にほぼ線形な依存関係を示し、従来の SVD に基づく手法に比べて顕著な改善を達成する。
• グローバル線形収束を示し、MNIST および PTB データセットでの実験により、$ \sin \theta_{\mathbf{B}} $ が反復回数に伴い線形に減少することが確認された。
• MNIST データセットでは、アルゴリズムは真の正準空間へ単調に収束し、PCC は 1 に近づき、すべての角度 $ \theta_x, \theta_y, \theta_{\mathbf{B}} $ は 0 に近づいた。
• 大規模な URL レピュテーションデータセットでは、同じ TCC 精度に到達するまでの計算効率において、CCALin は S-AppGrad、PCA-CCA、NW-CCA、DW-CCA を上回った。
• 初期段階で $ \theta_x $ および $ \theta_y $ が $ \theta_{\mathbf{B}} $ に遅れを取っても、線形収束を維持し、$ \sin \theta_{\mathbf{B}} $ と同等以上に収束する。
• 実験結果により、アルゴリズムが大規模問題において実用的であることが確認された。特に $ k \ll n $ であり、条件数および固有値ギャップが中程度の場合は顕著な効果を示す。