[論文レビュー] Exponentially convergent stochastic k-PCA without variance reduction

Cheng Tang|arXiv (Cornell University)|Apr 3, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用数 9

ひとこと要約

本稿では、Krasulinaの古典的手法を行列設定に一般化した、新しいオンライン $k$-PCAアルゴリズム「Matrix Krasulina」を提案する。分散還元を用いないにもかかわらず、真の主部分空間への指数的収束を達成し、内因的に低ランクなデータに対して単純な確率的勾配法が十分であることを示している。これは、オンライン設定において分散還元を用いた代替手法を上回る性能を発揮する。

ABSTRACT

We present Matrix Krasulina, an algorithm for online k-PCA, by generalizing the classic Krasulina's method (Krasulina, 1969) from vector to matrix case. We show, both theoretically and empirically, that the algorithm naturally adapts to data low-rankness and converges exponentially fast to the ground-truth principal subspace. Notably, our result suggests that despite various recent efforts to accelerate the convergence of stochastic-gradient based methods by adding a O(n)-time variance reduction step, for the k-PCA problem, a truly online SGD variant suffices to achieve exponential convergence on intrinsically low-rank data.

研究の動機と目的

• ストリーミングデータを処理するための、メモリと計算リソースが限られた環境に適した効率的なオンライン $k$-PCAアルゴリズムの開発。
• 確率的 $k$-PCAにおける指数的収束を達成するために分散還元が必要かどうかという理論的理解のギャップを埋めること。
• 単純な確率的勾配の変種が、分散還元なしでも、確率的設定下で指数的収束を達成できることを示すこと。
• 理論的および実験的検証を通じて、アルゴリズムがデータの低ランク性を自然に適応し、高速に収束することを確認すること。

提案手法

• Krasulinaの手法を $k=1$ のベクトルケースから $k \geq 1$ の行列ケースへ一般化し、オンライン $k$-PCAに適用する。
• 経験的 $k$-PCA目的関数に確率的勾配降下法を適用する際、一定の学習率を用いる。
• 推定された主部分空間と真の主部分空間の距離を測るため、部分空間間の標準角を収束指標として採用する。
• 条件付き期待値と確率的集中の議論を用いて、期待される部分空間距離の再帰的バウンディングを導出する。
• 期待誤差が $\exp(-t\eta\tau\lambda_k)$ のように減少することを示し、指数的収束を確立する。ここで $\eta$ は学習率、$\lambda_k$ は $k$ 番目の固有値である。
• 大きな逸脱の確率を制御するための確率的事象 $\mathcal{G}_t$ を用い、高確率収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 単純な確率的勾配法は、分散還元なしでも、オンライン $k$-PCA において指数的収束を達成できるか？
• RQ2 アルゴリズムはデータの内在的低ランク構造を自然に適応するか？
• RQ3 確率的勾配法の収束速度は $k$-PCA に対して十分か、それとも分散還元が必要か？
• RQ4 提案手法の収束特性は、オンライン設定における分散還元を用いた代替手法と比べてどうか？

主な発見

• 提案された Matrix Krasulina アルゴリズムは、データサイズ $n$ に依存しない収束レート $\exp(-t\eta\tau\lambda_k)$ を有し、真の主部分空間へ指数的収束を達成する。
• 分散還元なしでも、確率的設定下で指数的収束が実現され、非凸問題においてVRが高速収束に不可欠であるという一般的な信念に反する。
• 理論的分析により、一定の学習率と有界なノイズのもとで、期待される部分空間距離が反復回数 $t$ とともに指数的に減少することが示された。
• 実験的結果により、標準的な確率的勾配法よりも収束が速く、オンライン設定において分散還元手法と同等またはそれを上回る性能を発揮することが確認された。
• アルゴリズムは真正のオンライン処理が可能であり、各データポイントに対して1回のパスのみを必要とし、反復ごとに定数メモリで処理されるため、大規模なストリーミングデータに適している。
• アルゴリズムは低ランクデータを自然に適応し、$\lambda_k$ と $\lambda_{k+1}$ の間に明確なギャップがある場合に高速に収束する。