[論文レビュー] Doubly Accelerated Methods for Faster CCA and Generalized Eigendecomposition

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jul 20, 2016

Blind Source Separation Techniques被引用数 32

ひとこと要約

本稿では、k一般化固有値分解（k-GenEV）およびk正準相関分析（k-CCA）のための二重に加速されたアルゴリズムであるLazyEVおよびLazyCCAを提案する。実行時間は、条件数√κおよび固有値ギャップ1/√gapに線形に依存し、ギャップフリーの設定では1/√εに依存する。これらの手法は、加速された確率的分散低減と暗黙のヘッシアン近似を組み合わせており、従来の手法よりも高速な収束を達成するとともに、入力サイズおよびkに対して線形な依存関係を維持する。

ABSTRACT

We study $k$-GenEV, the problem of finding the top $k$ generalized eigenvectors, and $k$-CCA, the problem of finding the top $k$ vectors in canonical-correlation analysis. We propose algorithms $\\mathtt{LazyEV}$ and $\\mathtt{LazyCCA}$ to solve the two problems with running times linearly dependent on the input size and on $k$. Furthermore, our algorithms are DOUBLY-ACCELERATED: our running times depend only on the square root of the matrix condition number, and on the square root of the eigengap. This is the first such result for both $k$-GenEV or $k$-CCA. We also provide the first gap-free results, which provide running times that depend on $1/\\sqrt{\\varepsilon}$ rather than the eigengap.

研究の動機と目的

• 条件数（κ）および固有値ギャップ（gap）に強く依存する、k-GenEVおよびk-CCAのための、証明可能な効率性に欠けるアルゴリズムの問題を解決すること。
• k-GenEVおよびk-CCAのための、√κおよび1/√gapに線形に依存する、初めての二重に加速された手法を開発すること。
• これらの問題に対して、初めてギャップフリーの結果を提供し、収束速度が1/√εに依存するようにすること。
• 加速された確率的勾配法をk-CCAおよびk-GenEVに拡張し、非確率的手法よりも遅くならない性能を達成すること。

提案手法

• k-GenEVおよびk-CCA問題を解くために、加速された確率的分散低減勾配（SVRG）法に基づくLazyEVおよびLazyCCAアルゴリズムを提案する。
• 行列シフト（λB - A）を用いた暗黙のヘッシアン近似により、AおよびBの明示的計算を回避し、効率的なヘッシアン・ベクター積を可能にする。
• 各fi(z)がCCAまたはGenEVの部分問題を符号化する非凸関数の和f(z) = (1/n)∑fi(z)を最小化するために、加速されたSVRGを適用する。
• 直交制約を維持するために、以前に発見されたベクトルに射影する再帰的定値化戦略を用いて、上位kベクトルを逐次的に計算する。
• 目的関数の強凸性パrameterをσkδλmin(B)/48の項で評価する、新しい解析フレームワークを導入し、これにより加速が可能になる。
• k-GenEVの実行時間の上限をeO(knnz(B)√κ/√gap + knnz(A) + k²d/√gap)、k-CCAの実行時間の上限をeO(knnz(X,Y)(1+√κ′/n) + k²d/√gap)として導出する。ギャップフリーのバージョンでは、gapをεに置き換える。

実験結果

リサーチクエスチョン

• RQ1 κおよび1/gapに線形に依存するのではなく、√κおよび1/√gapにのみ依存するk-GenEVアルゴリズムを設計できるか？
• RQ2 k-GenEVおよびk-CCAに対してギャップフリーの収束を達成できるか。すなわち、実行時間の依存関係を1/√gapではなく1/√εにできるか？
• RQ3 二重に加速された手法を確率的設定に拡張できるか。これにより、実行時間の依存関係が√κではなく(1+√κ′/n)にできるか。ここでκ′は行正規化された条件数である。
• RQ4 非加速的または非確率的手法よりも遅くならないように、一般化固有値分解およびCCA問題を処理しながら加速を維持できるか？

主な発見

• 提案されたLazyEVアルゴリズムは、k-GenEVに対してeO(knnz(B)√κ/√gap + knnz(A) + k²d/√gap)の実行時間を達成し、√κおよび1/√gapに二重に加速された依存関係を実現する。
• k-CCAに対しては、LazyCCAがeO(knnz(X,Y)(1+√κ′/n) + k²d/√gap)の時間で実行され、同様に二重に加速されたスケーリングと確率的効率性を達成する。
• これらのアルゴリズムは、k-GenEVおよびk-CCAに対して、初めてギャップフリーの結果を提供する。実行時間はそれぞれeO(knnz(B)√κ/√ε + knnz(A) + k²d/√ε)およびeO(knnz(X,Y)(1+√κ′/n) + k²d/√ε)に依存する。
• 解析により、目的関数のヘッシアンが少なくともσkδλmin(B)/48の強凸性パrameterを持つことが証明され、これによりSVRGによる加速が可能になる。
• 実行時間は、非加速的または非確率的手法よりも遅くならない。なぜなら(1+√κ′/n) ≤ O(√κ)であるため、確率的加速は常に有益である。
• これらのアルゴリズムは、k-GenEVおよびk-CCAに対して、二重に加速され、ギャップフリーの収束を達成する最初の手法であり、分野における長年の未解決問題を解決する。