[論文レビュー] Fast and Simple PCA via Convex Optimization

Dan Garber, Elad Hazan|arXiv (Cornell University)|Sep 18, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用数 61

ひとこと要約

本稿では、主成分分析（PCA）を高速かつ単純に行うための新しい凸最適化フレームワークを提示する。主成分の計算を、良好に条件付けられた凸問題を少数回解くことに還元することで、高速な収束を実現する。実行時間は、トップ固有ベクトルとのε近似アライメントにおいて Õ(d/δ² + N)、ε近似レイリーグォショニアン最大化において Õ(d/ε²) であり、従来手法に比べて主要なパrameter領域で優れている。

ABSTRACT

The problem of principle component analysis (PCA) is traditionally solved by spectral or algebraic methods. We show how computing the leading principal component could be reduced to solving a extit{small} number of well-conditioned {\it convex} optimization problems. This gives rise to a new efficient method for PCA based on recent advances in stochastic methods for convex optimization. In particular we show that given a $d imes d$ matrix $\X = \frac{1}{n}\sum_{i=1}^n\x_i\x_i^{ op}$ with top eigenvector $\u$ and top eigenvalue $λ_1$ it is possible to: \begin{itemize} \item compute a unit vector $\w$ such that $(\w^{ op}\u)^2 \geq 1-ε$ in $ ilde{O}\left({\frac{d}{δ^2}+N} ight)$ time, where $δ= λ_1 - λ_2$ and $N$ is the total number of non-zero entries in $\x_1,...,\x_n$, \item compute a unit vector $\w$ such that $\w^{ op}\X\w \geq λ_1-ε$ in $ ilde{O}(d/ε^2)$ time. \end{itemize} To the best of our knowledge, these bounds are the fastest to date for a wide regime of parameters. These results could be further accelerated when $δ$ (in the first case) and $ε$ (in the second case) are smaller than $\sqrt{d/N}$.

研究の動機と目的

• 全特異値分解や行列分解を必要とするため、O(nd² + d³) の時間が必要となる伝統的PCA手法の計算非効率性を解消すること。
• パワー法やランチョス法といった反復的手法の限界を克服すること。これらの手法はスペクトルギャップ δ に強く依存しており、データを複数回走査する必要がある。
• 1回の反復あたり線形時間の計算量を維持するとともに、データを対数的回数しか走査しない方法を開発し、より速い収束を達成すること。
• 大規模機械学習におけるPCA計算を高速化するために、元の問題を良好に条件付けられた凸最適化問題に還元すること。
• 特に δ や ε がデータサイズ N よりも小さい領域において、従来の確率的PCAアルゴリズムよりも優れた実行時間を達成すること。

提案手法

• PCA問題を、多項対数的数の良好に条件付けられた、非制約、滑らかで強く凸な最適化問題に還元する。
• 特に分散低減技術を活用した最新の確率的凸最適化の進展を活用し、これらの部分問題を効率的に解く。
• 各勾配をデータベクトルの重み付き分布からランダムに抽出する手法を採用し、一様サンプリングに比べて収束を向上させる。
• 正則化レイリーグォショニアンを最小化するために、適応的ステップサイズとモーメンタムを用いた変更された確率的部分勾配法を適用する。
• 凸緩和技術を用いて最適化プロセスをブートストラップするウォームスタート戦略を導入し、高価な初期化を回避する。
• 元の非凸PCA問題を、良好な条件数を持つ凸部分問題の列に変換することで、数値的安定性と収束性を確保する。

実験結果

リサーチクエスチョン

• RQ1 主成分の計算を、収束が速い凸最適化問題の列に再定式化できるか？
• RQ2 PCA近似の実行時間に関して、スペクトルギャップ δ とデータサイズ N の最適なトレードオフは何か？
• RQ3 特に δ が小さい場合に、凸最適化技術はパワー法やランチョス法といった反復的非凸手法よりも優れた実行時間を達成できるか？
• RQ4 確率的勾配における重み付きサンプリングの使用が、PCAにおける収束速度と近似精度に与える影響は何か？
• RQ5 提案手法は、既存の部分線形時間SDPソルバーに統合可能か？その場合、性能が向上するか？

主な発見

• 提案手法は、δ = λ₁ − λ₂ がスペクトルギャップであるとき、(wᵀu)² ≥ 1−ε を満たす単位ベクトル w を Õ(d/δ² + N) 時間で計算する。
• レイリーグォショニアンを最大化する場合、wᵀXw ≥ λ₁ − ε を Õ(d/ε²) 時間で達成する。この時間はスペクトルギャップに依存しない。
• これらの境界は、特に δ が小さく、または √(d/N) よりも ε が大きい場合に、既存の最良の結果を上回る。
• ウォームスタートがなくても、δ や ε への依存性が優れているため、シャミアの確率的PCAアルゴリズムよりも最悪ケースで優れる。
• フレームワークにより、部分線形時間SDPソルバーの性能が加速され、固有値計算ステップが本手法に置き換えられ、実行時間は Õ(1/ε² (mF² + min{S/ε², N/√ε})) に短縮される。
• 理論的解析により、ε近似に対して高確率（1−p）の保証が維持され、反復回数とステップサイズ選択の明示的境界が得られている。