[論文レビュー] Communication-optimal Distributed Principal Component Analysis in the Column-partition Model.

Christos Boutsidis, David P. Woodruff|arXiv (Cornell University)|Apr 25, 2015

Stochastic Gradient Optimization Techniques参考文献 30被引用数 9

ひとこと要約

この論文は、列分割モデルにおける分散主成分分析（PCA）の通信最適化アルゴリズムを提示している。通信コストを最小限に抑えつつ、$(1+\epsilon)$-近似低ランク近似を達成する。ランダム化された部分空間サンプリングと効率的な行列スケッチ技術を活用し、通信コストを削減することで、理論的保証のもとで近似的最適な性能を達成する。

ABSTRACT

We study the Principal Component Analysis (PCA) problem in the distributed and streaming models of computation. Given a matrix $A \in R^{m imes n},$ a rank parameter $k < rank(A)$, and an accuracy parameter $0 < \epsilon < 1$, we want to output an $m imes k$ orthonormal matrix $U$ for which $$ || A - U U^T ||_F^2 \le \left(1 + \epsilon ight) \cdot || A - A_k||_F^2, $$ where $A_k \in R^{m imes n}$ is the best rank-$k$ approximation to $A$. This paper provides improved algorithms for distributed PCA and streaming PCA.

研究の動機と目的

• 通信コストを最小限に抑えつつ高い精度を維持する分散PCAアルゴリズムの設計。
• データ移動を最小限に抑えながら、行列$A$の最良のランク$k$近似に対して$(1+\epsilon)$-近似を達成すること。
• スケーラブルで分散された環境における分散PCAの通信および精度の理論的境界を提供すること。
• 通信が深刻なボトル neck となる大規模データシステムへのPCAの適用範囲を拡張すること。

提案手法

• アルゴリズムは、次元を低減したデータ行列$A$のスケッチを構築するために、ランダム化された部分空間サンプリングを用いる。
• データを圧縮するための行列スケッチ技術を適用し、正確な低ランク近似に必要な構造を保持する。
• 行列$A$を複数のマシンに列ごとに分割し、局所計算を実行した後、最小限の通信を行う。
• 強い集中不等式を活用して、スケッチが$\epsilon$-相対誤差内で主要な特徴部分空間を捉えられることを保証する。
• 最終的な正規直交行列$U$はスケッチされたデータから計算され、$||A - UU^T||_F^2 \le (1+\epsilon) \cdot ||A - A_k||_F^2$を満たす。

実験結果

リサーチクエスチョン

• RQ1 列分割モデルにおいて、$(1+\epsilon)$-近似PCAを計算するために必要な通信量の最小値は何か？
• RQ2 ランダム化スケッチをどのように活用すれば、分散PCAにおける近似的最適な通信複雑度を達成できるか？
• RQ3 分散ノード間のデータ転送を最小限に抑えながら、$(1+\epsilon)$-精度を維持できるか？
• RQ4 この分散環境における通信コストと近似誤差に対して、どのような理論的境界を確立できるか？

主な発見

• 提案されたアルゴリズムは、マシン数における対数要因を除き通信複雑度が最適である。
• 高い確率で、$A$の最良のランク$k$近似に対して$(1+\epsilon)$-近似を保証する。
• 特に大規模な分散システムにおいて、従来の手法と比較して顕著にデータ転送量を削減する。
• 理論的分析により、通信を最小限に抑えつつ精度を維持できることを確認しており、これはビッグデータワークロードに適している。