[論文レビュー] A Stochastic PCA and SVD Algorithm with an Exponential Convergence Rate

Ohad Shamir|arXiv (Cornell University)|Sep 9, 2014

Stochastic Gradient Optimization Techniques参考文献 12被引用数 31

ひとこと要約

本稿では、分散低減付き確率的勾配降下法を活用することで指数的収束を達成する、主成分分析（PCA）および特異値分解（SVD）のための確率的アルゴリズムであるVR-PCAを提案する。従来の手法とは異なり、反復ごとの計算コストが低く抑えられるとともに、精度に対する対数的依存性を有し、データサイズと固有値ギャップの積を回避することで、有界なデータノルムのもとで、$\mathcal{O}(d_s(n + \frac{1}{\lambda^2})\log(\frac{1}{\epsilon}))$ の実行時間となる。

ABSTRACT

We describe and analyze a simple algorithm for principal component analysis and singular value decomposition, VR-PCA, which uses computationally cheap stochastic iterations, yet converges exponentially fast to the optimal solution. In contrast, existing algorithms suffer either from slow convergence, or computationally intensive iterations whose runtime scales with the data size. The algorithm builds on a recent variance-reduced stochastic gradient technique, which was previously analyzed for strongly convex optimization, whereas here we apply it to an inherently non-convex problem, using a very different analysis.

研究の動機と目的

• 大規模データに対してスケーリングが著しく悪い伝統的PCA/SVD手法の計算ボトル neck を解消すること。
• 標準的な確率的アルゴリズムの収束が精度の逆数に線形に依存するという遅い収束を克服すること。
• 高精度解を得る際にも反復ごとの計算コストを低く保ちながら、指数的収束速度を達成する手法の開発。
• かつて強い凸性が前提とされていた分散低減付き確率的最適化手法を、非凸なPCA問題へと拡張すること。
• データサイズと逆固有値ギャップの二乗の和に比例する実行時間の解析を提供すること。

提案手法

• 非凸PCA問題に適応した分散低減付き確率的勾配法を用い、$\|\mathbf{w}\|_2 = 1$ の制約のもとで $-\mathbf{w}^\top (\frac{1}{n}\sum_{i=1}^n \mathbf{x}_i\mathbf{x}_i^\top)\mathbf{w}$ を最小化する。
• エポックベースの構造を採用：各エポックは $m$ 回の反復からなり、各エポックの開始時に全勾配を計算することで分散を低減する。
• 更新式では、ランダムに選択されたデータベクトル $\mathbf{x}_i$ に基づく確率的勾配に加え、分散低減のためのコントロールバリアントを用いる。
• 単位ノルムの反復を維持し、ステップサイズ $\eta = \alpha\lambda$ を用いることで、最上位固有ベクトルへの収束を保証する。
• 確率的解析により、現在の反復と真の最上位固有ベクトルとの間の角度の余弦の二乗を用いて、部分最適性の上限を導出する。
• 二乗角度 $\tilde{b}_t = 1 - \langle \tilde{\mathbf{w}}_t, \mathbf{v}_1 \rangle^2$ における再帰関係を活用し、高確率で指数的減衰を示す。

実験結果

リサーチクエスチョン

• RQ1 強い凸性が欠如する非凸PCA問題に対し、分散低減付き確率的最適化を効果的に適用できるか？
• RQ2 反復ごとの計算コストがデータサイズに依存しないまま、PCAで指数的収束速度を達成できるか？
• RQ3 実行時間が $\mathcal{O}(d_s(n + \frac{1}{\lambda^2})\log(\frac{1}{\epsilon}))$ に比例するようになるか、それとも $\mathcal{O}(d_s n \frac{1}{\lambda^p})$ の積形式に比例するか？
• RQ4 実行時間における $\frac{1}{\lambda^2}$ の依存性は必須であり、強い凸性設定における $\frac{1}{\lambda}$ への改善が可能か？
• RQ5 初期値が最適解から遠くてもアルゴリズムはどのように振る舞い、ランダム初期化からの理論的保証は確立可能か？

主な発見

• アルゴリズムVR-PCAは、高確率で最上位固有ベクトルへ指数的収束を達成し、$T = \lceil \frac{\log(1/\epsilon)}{\log(1/\gamma)} \rceil$ エポック後に $1 - \langle \tilde{\mathbf{w}}_T, \mathbf{v}_1 \rangle^2 \leq \epsilon$ が成立する。
• 実行時間は $\mathcal{O}(d_s(n + \frac{1}{\lambda^2})\log(\frac{1}{\epsilon}))$ であり、$\lambda$ が小さい場合には決定的手法よりも優れている。
• $\lambda \geq \Omega(1/\sqrt{n})$ の場合、実行時間は $\mathcal{O}(d_s n)$ にまで短縮され、対数的要因を除けば1回のデータスキャンに相当する。
• 有界なデータノルムのもとで収束が証明されており、$r$ をノルムの二乗として $\lambda$ と $\eta$ をスケーリングすることで一般ノルムへ拡張可能である。
• 収束を確率 $1 - \delta$ で達成するためには、各エポックで $m \geq \frac{c\log(2/\delta)}{\eta\lambda}$ 回の反復が必要であり、$\eta \leq c\delta^2\lambda / r^2$ である必要がある。
• 解析により、$1/\lambda^2$ 要因は改善できない可能性が示唆されるが、非凸設定下で $1/\lambda$ が達成可能かどうかは未解決の問題のままである。