[論文レビュー] Analysis of PCA Algorithms in Distributed Environments

Tarek Elgamal, Mohamed Hefeeda|arXiv (Cornell University)|Mar 17, 2015

Neural Networks and Applications参考文献 13被引用数 27

ひとこと要約

この論文は、時間的・通信的複雑性に注目して分散PCAアルゴリズムを分析し、大規模データセットに対して最もスケーラブルな手法として確率的PCA（PPCA）を特定した。本稿では、中間行列を保存するのではなく再計算することで通信量をO(Dd)に削減する、新規のアルゴリズムsPCAを提案する。計算コストの増加による冗長性があるものの、Mahout や MLlib に実装された既存手法よりも優れた性能を示した。

ABSTRACT

Classical machine learning algorithms often face scalability bottlenecks when they are applied to large-scale data. Such algorithms were designed to work with small data that is assumed to fit in the memory of one machine. In this report, we analyze different methods for computing an important machine learing algorithm, namely Principal Component Analysis (PCA), and we comment on its limitations in supporting large datasets. The methods are analyzed and compared across two important metrics: time complexity and communication complexity. We consider the worst-case scenarios for both metrics, and we identify the software libraries that implement each method. The analysis in this report helps researchers and engineers in (i) understanding the main bottlenecks for scalability in different PCA algorithms, (ii) choosing the most appropriate method and software library for a given application and data set characteristics, and (iii) designing new scalable PCA algorithms.

研究の動機と目的

• 分散PCAアルゴリズムにおける主なスケーラビリティのボトル neck を特定し、特に時間的および通信的複雑性の観点から分析すること。
• 計算コストと通信コストの両面から、固有値分解、SVD、確率的SVD、および確率的PCAの各手法を比較すること。
• データセットのサイズや特徴に応じて、研究者やエンジニアが最適なPCA手法およびソフトウェアライブラリを選択できるように支援すること。
• 理論的保証を損なわずに通信オーバーヘッドを低減する新しいスケーラブルなPCAアルゴリズムを設計すること。
• 最適化された通信を伴う確率的PCAが、大規模分散環境において優れていることを実証すること。

提案手法

• 最悪ケースの時間的および通信的複雑度に注目した分散実行コストモデルを用いてPCAアルゴリズムを分析する。
• 4つのPCA手法（共分散行列の固有値分解、二重対角化を用いたSVD、確率的SVD（SSVD）、確率的PCA（PPCA））を評価する。
• 中間行列を保存せず、再計算することで通信量を削減するPPCAの変種であるsPCAを提案する。通信量はO(Dd)にまで低減される。
• 計算量を増やすことで通信量を削減する戦略を採用し、時間的複雑度はO(NDd)のまま維持する。
• sPCAを分散環境で実装・評価し、Mahout や MLlib に実装された既存のライブラリと比較する。
• ハードウェアやソフトウェアスタックの詳細を抽象化し、通信複雑度をノード間で交換されるバイト数の合計としてモデル化する。

実験結果

リサーチクエスチョン

• RQ1 分散PCAアルゴリズムにおける主なスケーラビリティのボトル neck は何か。時間的複雑度と通信的複雑度の観点から、それらはどのように異なるか。
• RQ2 固有値分解、SVD、確率的SVD、確率的PCAの各手法が、最悪ケースにおいて時間的および通信的複雑度でどのように異なるか。
• RQ3 分散PCAにおいて、計算複雑度を定数倍以内に抑えながら通信複雑度を低減できるか。
• RQ4 最適化された通信を伴う確率的PCAは、大規模データセットの分散環境において、確率的SVDよりもスケーラブルか。
• RQ5 提案されたsPCAアルゴリズムは、Mahout-PCA や MLlib-PCA と比較して、通信量とパフォーマンスの点でどのように異なるか。

主な発見

• 共分散行列の固有値分解は、時間的複雑度がO(ND × min(N,D) + D³)、通信的複雑度がO(D²)であり、大規模データには不適切である。
• 二重対角化を用いたSVDは、時間的複雑度がO(ND² + D³)、通信的複雑度がO(max((N+D)d, D²))であり、高次元データでは依然として高い通信量を要する。
• 確率的SVD（SSVD）は、O(NDd)のより良好な時間的複雑度を達成するが、通信的複雑度がO(max(Nd, d²))にまで上昇し、大規模データではスケーラビリティが制限される。
• 確率的PCA（PPCA）は、O(NDd)の時間的複雑度とO(Dd)の通信的複雑度を達成し、固有値分解やSVDベースの手法よりもスケーラブルである。
• 提案されたsPCAアルゴリズムは、冗長な再計算により通信的複雑度をO(Dd)にまで低減し、大規模な実験においてMahout-PCA や MLlib-PCA を上回った。
• 計算コストが2倍（O(3NDd)）に増加するものの、sPCAはPPCAと同一の漸近的時間的複雑度を維持しており、通信量を顕著に削減する。その結果、大規模データセットに対して最もスケーラブルな手法であると判明した。