[論文レビュー] Streaming PCA: Matching Matrix Bernstein and Near-Optimal Finite Sample Guarantees for Oja's Algorithm

Prateek Jain, Chi Jin+3 more|arXiv (Cornell University)|Feb 22, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用数 15

ひとこと要約

本稿では、Oja法に基づくストリーミングPCAアルゴリズムを提示する。このアルゴリズムは、行列ベルヌーイ分布に基づく精度を達成することで、有限標本保証を近似的に最適化する。$O(d)$の記憶領域と1回のパスで、先行研究に比べて$O(d)$または$1/\mathrm{gap}$の改善を達成する。ランダム初期化と適応的ステップサイズの新しい解析を用いる。

ABSTRACT

This work provides improved guarantees for streaming principle component analysis (PCA). Given $A_1, \ldots, A_n\in \mathbb{R}^{d imes d}$ sampled independently from distributions satisfying $\mathbb{E}[A_i] = Σ$ for $Σ\succeq \mathbf{0}$, this work provides an $O(d)$-space linear-time single-pass streaming algorithm for estimating the top eigenvector of $Σ$. The algorithm nearly matches (and in certain cases improves upon) the accuracy obtained by the standard batch method that computes top eigenvector of the empirical covariance $\frac{1}{n} \sum_{i \in [n]} A_i$ as analyzed by the matrix Bernstein inequality. Moreover, to achieve constant accuracy, our algorithm improves upon the best previous known sample complexities of streaming algorithms by either a multiplicative factor of $O(d)$ or $1/\mathrm{gap}$ where $\mathrm{gap}$ is the relative distance between the top two eigenvalues of $Σ$. These results are achieved through a novel analysis of the classic Oja's algorithm, one of the oldest and most popular algorithms for streaming PCA. In particular, this work shows that simply picking a random initial point $w_0$ and applying the update rule $w_{i + 1} = w_i + η_i A_i w_i$ suffices to accurately estimate the top eigenvector, with a suitable choice of $η_i$. We believe our result sheds light on how to efficiently perform streaming PCA both in theory and in practice and we hope that our analysis may serve as the basis for analyzing many variants and extensions of streaming PCA.

研究の動機と目的

• メモリ制限と1回のパスアクセスの下で、共分散行列のトップ固有ベクトルを推定する課題に対処する。
• 先行のストリーミングPCAアルゴリズムが、標本複雑性において$O(d)$または$1/\mathrm{gap}$の乗法的損失を被るという制限を克服する。
• 行列ベルヌーイ不等式とWedinの定理から導かれる理論的境界に一致または上回る有限標本保証をOjaのアルゴリズムに提供する。
• 古典的なOjaのアルゴリズムにランダム初期化と適応的ステップサイズを適用する、洗練された技術的に単純な解析を開発する。

提案手法

• Ojaの古典的確率的パワー法を適用：$\mathbf{w}_{i+1} = \mathbf{w}_i + \eta_i \mathbf{A}_i \mathbf{w}_i$、ランダム初期化と減少するステップサイズを用いる。
• 行列濃度と分散バウンドを用いて、推定ベクトルと真のトップ固有ベクトルの間の角度の変化を追跡する、新しい解析フレームワークを用いる。
• 行列ベルヌーイ型不等式を用いて角度の期待二乗正弦をバウンドし、チェビシェフの不等式を適用して期待値からの逸脱を制御する。
• トップ固有ベクトルに直交する部分空間における誤差をトレースバウンドとマーカフの不等式を用いて制御し、射影ノルムの増大を制御する。
• 濃度不等式と尾部制御を組み合わせて高確率の誤差バウンドを導出し、成功確率$1 - \delta$を保証する。
• 収束速度と分散のバランスを取るためにステップサイズ$\eta_i$を最適化し、標本複雑性において近似的に最適なトレードオフを達成する。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化を伴うOjaのアルゴリズムは、バッチPCAの行列ベルヌーイ境界に一致する有限標本保証を達成できるか？
• RQ2 同じ仮定の下で、ストリーミングPCAの最適な標本複雑性は何か？ そして、$O(d)$の記憶領域と1回のパスで達成可能か？
• RQ3 Ojaのアルゴリズムの性能は固有値ギャップ$\lambda_1 - \lambda_2$にどのように依存するか？ その依存関係を改善できるか？
• RQ4 Ojaのアルゴリズムのより単純な解析は、成功確率や$d$への依存関係において、先行研究よりタイトなバウンドをもたらせるか？
• RQ5 角度に基づく誤差ではなく、レイリー商の直接的解析によって、ギャップに依存しない標本複雑性を達成できるか？

主な発見

• 提案されたアルゴリズムは、$\epsilon$-近似を$O(\log d)$要因を除き、行列ベルヌーイ境界に一致する標本複雑性で達成する。
• 定数精度の下で、アルゴリズムは先行のストリーミング手法に比べて、$O(d)$または$1/\mathrm{gap}$の要因で標本複雑性を改善する。
• 解析により、ランダム初期化と適応的ステップサイズの組み合わせで、近似的に最適な収束が達成でき、慎重な初期化の必要がなくなることが示された。
• 漸近的に、標準の行列ベルヌーイ結果に比べて、主要項において$\mathcal{O}(\log d)$の要因で改善される。
• アルゴリズムは$O(d)$の記憶領域と線形時間で動作し、大規模なストリーミング応用に適している。
• 現在の解析における成功確率の依存性は最適でないが、並列実行と幾何的中央値集約を用いることで、フレームワークを改善可能である。