[論文レビュー] Single Pass PCA of Matrix Products

Shanshan Wu, Srinadh Bhojanapalli+2 more|arXiv (Cornell University)|Oct 21, 2016

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、行および列のノルムを組み込んだ再スケーリングされたジョンソン＝リンデストラウス（JL）埋め込みと行列スケッチを組み合わせることで、行列積 $A^T B$ の低ランク近似を1パスで計算する新規なアルゴリズムSMP-PCAを提案する。この手法は、2パス手法と同等のスペクトルノルム誤差の保証を達成し、ナーブなスケッチ・オブ・スケッチ手法を上回り、実データおよび合成データを用いたSparkベースの実験において、計算的・統計的に優れた性能を示す。

ABSTRACT

In this paper we present a new algorithm for computing a low rank approximation of the product $A^TB$ by taking only a single pass of the two matrices $A$ and $B$. The straightforward way to do this is to (a) first sketch $A$ and $B$ individually, and then (b) find the top components using PCA on the sketch. Our algorithm in contrast retains additional summary information about $A,B$ (e.g. row and column norms etc.) and uses this additional information to obtain an improved approximation from the sketches. Our main analytical result establishes a comparable spectral norm guarantee to existing two-pass methods; in addition we also provide results from an Apache Spark implementation that shows better computational and statistical performance on real-world and synthetic evaluation datasets.

研究の動機と目的

• AとBが主記憶に収まらないほど巨大な場合に、$A^T B$ の低ランク近似を1パスで行うアルゴリズムの開発。
• AとBを別々にスケッチし、その後にスケッチの積のSVDを計算するナーブな2段階的手法の改善。
• 2パス手法と同等のスペクトルノルム誤差の保証を維持しながら、1パスの効率性を保つこと。
• スケッチとベクトルのノルム情報の両方を活用して、高次元空間における内積推定を改善する手法の設計。
• Apache Sparkを用いた分散処理と大規模データワークロードを想定したアルゴリズムの実装と評価。

提案手法

• 各行列の行および列のノルム情報を組み込んだ再スケーリングJL埋め込みを提案し、内積推定の精度を向上。
• 精度と効率のバランスを取るために、行ごとの寄与度に基づく多項分布による行方向のサンプリング戦略を採用。
• 非一様分布からの効率的サンプリングのため、累積分布関数（CDF）と二分探索を組み合わせた手法を採用。
• 最終的なスケッチに対してトレuncated SVDを適用し、$A^T B$ のランク$r$近似を計算。
• ノルムに注意を払った再スケーリングにより、安定性と誤差制御を維持する新規なスケッチフレームワークを導入。
• 分散メモリおよびI/O効率を最適化したApache Sparkにおける実装。

実験結果

リサーチクエスチョン

• RQ1 1パスアルゴリズムは、$A^T B$ の低ランク近似において、2パス手法と同等のスペクトルノルム誤差境界を達成できるか？
• RQ2 スケッチプロセスに行および列のノルムを組み込むことで、標準的なスケッチ手法に比べて推定精度が向上するか？
• RQ3 SMP-PCAの性能は、AとBを別々にスケッチし、その後にスケッチの積のSVDを計算するナーブな手法と比べてどうか？
• RQ4 実際の応用において、SMP-PCAは既存の2パス手法よりも優れた統計的・計算的性能を示せるか？
• RQ5 スケッチサイズとサンプリング戦略が、低ランク近似の精度およびスケーラビリティに与える影響は何か？

主な発見

• SMP-PCAは、2パス手法と同等のスペクトルノルム誤差境界を達成し、誤差は $\|A^T B - (A^T B)_r\|$ および $\|A^T B\|$ に依存し、スケッチサイズが大きくなるほど、サンプル数が増えれば増えるほど減少する。
• ナーブなスケッチ・オブ・スケッチ手法に比べ、精度および誤差率の両面で優れている。特に、AとBの列ベクトルが錐内に存在する場合には、誤差を任意に小さくできる可能性を有する。
• Apache Sparkを用いた実験では、合成データおよび実世界のデータセットにおいて、SMP-PCAはベースライン手法に比べて優れた計算的・統計的性能を示した。
• CDFに基づく二分探索を用いた多項分布による行方向サンプリング戦略により、$m$ 個のサンプルに対して時間計算量が $O(m \log n)$ に低下し、分散処理が効率的に行えるようになった。
• 再スケーリングJL埋め込みは、特にノルムが偏った高次元空間において、標準的なJL埋め込みよりも内積推定をより正確に実現する。
• アルゴリズムの実行時間は $O((\text{nnz}(A)+\text{nnz}(B))\frac{\rho^{2}r^{3}\tilde{r}}{\eta^{2}} + \frac{nr^{6}\rho^{4}\tilde{r}^{3}}{\eta^{4}})$ であり、2パス手法と同等の性能を示し、入力サイズに対して準2乗的にスケーリングされる。