[論文レビュー] Improved Distributed Principal Component Analysis

Maria-Florina Balcan, Vandana Kanchanapally+2 more|arXiv (Cornell University)|Aug 25, 2014

Neural Networks and Applications参考文献 6被引用数 65

ひとこと要約

本稿では、k-meansクラスタリングおよび関連するℓ₂-フィッティング問題において、通信コストをO(skd/ε³)からO(skd/ε²)に削減する通信効率の良い分散PCAアルゴリズムを提案する。同時に(1+ε)-近似解の品質を維持する。新しい密接射影性質と確率的部分空間埋め込み技術を導入し、精度を損なわずに著しい高速化を実現した。実世界のデータセットを用いた評価で、計算が最大100倍速くなった。

ABSTRACT

We study the distributed computing setting in which there are multiple servers, each holding a set of points, who wish to compute functions on the union of their point sets. A key task in this setting is Principal Component Analysis (PCA), in which the servers would like to compute a low dimensional subspace capturing as much of the variance of the union of their point sets as possible. Given a procedure for approximate PCA, one can use it to approximately solve $\ell_2$-error fitting problems such as $k$-means clustering and subspace clustering. The essential properties of an approximate distributed PCA algorithm are its communication cost and computational efficiency for a given desired accuracy in downstream applications. We give new algorithms and analyses for distributed PCA which lead to improved communication and computational costs for $k$-means clustering and related problems. Our empirical study on real world data shows a speedup of orders of magnitude, preserving communication with only a negligible degradation in solution quality. Some of these techniques we develop, such as a general transformation from a constant success probability subspace embedding to a high success probability subspace embedding with a dimension and sparsity independent of the success probability, may be of independent interest.

研究の動機と目的

• 大規模なデータ分析における既存の分散PCAプロトコルの高い通信コストと計算コストを低減すること。
• k-meansクラスタリングおよびℓ₂-フィッティング問題における通信オーバーヘッドを、次元削減ステップの改善によって低減すること。
• 高い解の品質を維持しながら、分散環境での実行時間を著しく短縮する実用的でスケーラブルなアルゴリズムを開発すること。
• 全SVDを各サーバーで実行せずにグローバルPCAを効率的に近似可能にする、新しい理論的性質「密着射影性質」を導入すること。

提案手法

• 通信コストO(skd/ε²)を達成する、O(k/ε²)個のベクトルをアルゴリズム disPCA で計算する新しい分散PCAプロトコルを提案。
• 密着射影性質を導入：計算された部分空間へのグローバルデータの射影は、任意のk次元部分空間への射影をよく近似する。
• 成功確率に依存しない次元およびスパarsityを持つ高成功率埋め込みへの一般変換を用いる。
• 確率的SVDおよび部分空間埋め込み技術を活用し、精度を保持しながら計算を高速化する。
• 各サーバーが局所PCAを計算し、コーディネータが密着射影性質を用いて結果を統合する分散フレームワークを設計。
• スターネットワークトポロジーを用い、サーバー間で重み付きデータパーティショニングを行う実装と評価を実施。

実験結果

リサーチクエスチョン

• RQ1 k-meansクラスタリングのための分散PCAにおける通信コストを、O(skd/ε³)未満に低下させることは可能か？ ただし解の品質を損なわず。
• RQ2 密着射影性質により、全SVDを用いずにO(k/ε²)個のグローバルベクトルでのみ、(1+ε)-近似解を得られるか？
• RQ3 確率的技術を用いることで、分散PCAにおける計算時間を著しく短縮できるか？ ただし近最適な精度を維持する。
• RQ4 BOWpubmed（820万件のサンプル、14.1万次元）のような大規模データセットにおいて、提案手法はどのようにスケーリングするか？
• RQ5 高速化技術は、低ランク近似、k-means、PCRタスクにおいて、解の品質をどの程度損なうか？

主な発見

• 提案アルゴリズムにより、通信コストをO(skd/ε³)からO(skd/ε²)に削減し、ε依存性において2乗の改善を達成した。
• NewsGroupsデータセットでは、高速分散PCAが標準的な分散PCAに比べて10〜100倍の高速化を達成し、精度損失は無視できるほど小さい。
• 大規模なBOWpubmedデータセット（820万件）では、標準PCAは24時間以内に完了しなかったが、高速版は合理的な時間で高品質な結果を生成した。
• すべてのデータセットおよび射影次元において、低ランク近似、k-meansクラスタリング、PCRの誤差比は、ベースラインSVD解と同等の水準を維持した。
• 確率的SVDおよび部分空間埋め込みの活用により、実行時間が著しく短縮されたが、解の品質は誤差の無視できる範囲内に保たれた。
• 密着射影性質により、射影されたデータ上での任意のk次元部分空間近似が、グローバル問題に対して(1+ε)-近似解を保証する。