[論文レビュー] First Efficient Convergence for Streaming k-PCA: a Global, Gap-Free, and Near-Optimal Rate

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jul 26, 2016

Sparse and Compressive Sensing Techniques参考文献 15被引用数 10

ひとこと要約

本稿では、ストリーミングk-PCAにおけるOja++と、グローバルかつギャップフリーな収束解析を提示しており、O(dk)のメモリで近似的に最適なレートを達成している。長年の未解決問題を解決し、k > 1の場合において、効率的でグローバルに収束し、固有値ギャップに依存しない収束を実現しており、情報理論的下界に多項式対数因子を除いて一致する。

ABSTRACT

We study streaming principal component analysis (PCA), that is to find, in $O(dk)$ space, the top $k$ eigenvectors of a $d imes d$ hidden matrix $\bf Σ$ with online vectors drawn from covariance matrix $\bf Σ$. We provide $ extit{global}$ convergence for Oja's algorithm which is popularly used in practice but lacks theoretical understanding for $k>1$. We also provide a modified variant $\mathsf{Oja}^{++}$ that runs $ extit{even faster}$ than Oja's. Our results match the information theoretic lower bound in terms of dependency on error, on eigengap, on rank $k$, and on dimension $d$, up to poly-log factors. In addition, our convergence rate can be made gap-free, that is proportional to the approximation error and independent of the eigengap. In contrast, for general rank $k$, before our work (1) it was open to design any algorithm with efficient global convergence rate; and (2) it was open to design any algorithm with (even local) gap-free convergence rate in $O(dk)$ space.

研究の動機と目的

• k > 1の場合におけるストリーミングk-PCA設定下でのOjaのアルゴリズムに対する理論的収束保証の欠如に対処すること。
• 局所的初期化を必要とし、次元dとともにスケーリングが悪く、固有値ギャップに依存する既存手法の制限を克服すること。
• グローバル収束性、ギャップフリーなレート、次元dおよび誤差における効率的依存性を備え、O(dk)のメモリ内に収まるアルゴリズムを設計すること。
• 誤差ε、固有値ギャップgap、ランクk、次元dに関する依存性において、情報理論的下界に多項式対数因子を除いて一致する収束レートを達成すること。
• 時間とともに減少する学習率スケジュールが、実験的実践と整合する理論的裏付けを提供すること。

提案手法

• 複数の外ループを用いた段階的ウォームスタート戦略を採用したOjaのアルゴリズムの変種、Oja++を提案する。
• 各段階で上位k個の固有空間と良好に一致することを保証するための新規初期化補題（補題iii.J.2）を適用する。
• 固有値のしきい値（λk − iρ/(s+1)）に基づいて固有空間を階層的にレベルに分割し、行列ViとWiを定義する。
• Lemma Main 6をs+1個の外ループに再帰的に適用し、各ループでT0個のベクトルを処理し、学習率スケジュールηt ≈ 1/(ρt)（t > T0）を用いる。
• 行列濃度およびマルティングルール技法を用いて、反復間での残差部分空間誤差∥W⊤eQ(j)∥²_Fをバウンディングする。
• Lemma Main 6の仮定を満たすシフトされた学習率スケジュールを導入し、ギャップフリーな収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 k > 1の場合に、ウォームスタートを必要とせずに、ストリーミングk-PCAにおけるOjaのアルゴリズムがグローバルに収束可能か？
• RQ2 固有値ギャップ（すなわちギャップ）に依存しない収束率を持つストリーミングk-PCAアルゴリズムを設計することは可能か？
• RQ3 次元dにおいて効率的（対数的）な依存性を維持しつつ、O(dk)のメモリ内で収束率を最適化することは可能か？
• RQ4 収束率が誤差ε、固有値ギャップgap、ランクk、次元dに関して情報理論的下界に多項式対数因子を除いて一致するか？
• RQ5 時間とともに減少する学習率スケジュールが、k > 1の場合において理論的根拠を持つだろうか？

主な発見

• Oja++は、ランダム初期化から出発しても、O(dk)のメモリでストリーミングk-PCAに対してグローバルに収束する。
• 収束レートはギャップフリーである：固有値ギャップ（k番目とk+1番目の固有値の差）に依存せず、近似誤差のみに依存する。
• 誤差ε、固有値ギャップgap、ランクk、次元dに関する依存性において、情報理論的下界に多項式対数因子を除いて一致する。
• ギャップ依存ケースではO~(d / (ε gap²))、ギャップフリーの場合にはO~(d / ε)の収束レートを達成し、dに関して効率的かつ対数因子を除いて最適である。
• 本手法は、オンラインPCAにおける学習率を時間とともに減少させる実験的実践に対して理論的裏付けを提供する。
• 本分析では、複数の外ループにわたる安定した進行を保証するための新規初期化補題と、濃度バウンディングの再帰的適用を導入する。