[論文レビュー] Communication-efficient Algorithms for Distributed Stochastic Principal Component Analysis

Dan Garber, Ohad Shamir+1 more|arXiv (Cornell University)|Feb 27, 2017

Sparse and Compressive Sensing Techniques参考文献 19被引用数 22

ひとこと要約

この論文は、中央集権的ERMソリューションと同等の推定誤差を達成する通信効率の良い分散確率的PCAのアルゴリズムを提案する。非凸PCAにおける単純な平均化の失敗を是正するための符号補正法を導入し、分散行列-ベクトル積を用いた反復的アルゴリズムを開発することで、最小限の通信ラウンドで加速収束を実現する。

ABSTRACT

We study the fundamental problem of Principal Component Analysis in a statistical distributed setting in which each machine out of $m$ stores a sample of $n$ points sampled i.i.d. from a single unknown distribution. We study algorithms for estimating the leading principal component of the population covariance matrix that are both communication-efficient and achieve estimation error of the order of the centralized ERM solution that uses all $mn$ samples. On the negative side, we show that in contrast to results obtained for distributed estimation under convexity assumptions, for the PCA objective, simply averaging the local ERM solutions cannot guarantee error that is consistent with the centralized ERM. We show that this unfortunate phenomena can be remedied by performing a simple correction step which correlates between the individual solutions, and provides an estimator that is consistent with the centralized ERM for sufficiently-large $n$. We also introduce an iterative distributed algorithm that is applicable in any regime of $n$, which is based on distributed matrix-vector products. The algorithm gives significant acceleration in terms of communication rounds over previous distributed algorithms, in a wide regime of parameters.

研究の動機と目的

• m台のマシンがそれぞれ共通の分布から独立同一に抽出されたn個の標本を持つ分散環境において、主成分を推定する課題に対処すること。
• PCAの非凸性のため、局所的ERMソリューションの単純な平均化が中央集権的ERM性能に一致しないという根本的制限を克服すること。
• 通信効率の良いアルゴリズムを設計し、非凸設定下でも中央集権的ERMと同等の推定誤差を達成すること。
• 通信ラウンド数を最小限に抑えるために、分散行列-ベクトル積に基づく新しい反復的分散アルゴリズムを提案すること。
• 非ゼロ固有値ギャップを含む弱い仮定のもとで、一貫性および収束速度に関する理論的保証を提供すること。

提案手法

• 局所的ERMソリューションの符号を一致させることで、平均化におけるキャンセル効果を回避する符号修正補正ステップを提案する。
• シフト・アンド・インバース法を用い、事前処理を施した線形方程式系の反復的解法を活用して、主固有ベクトルを効率的に計算する。
• 各マシンあたりO(d)の通信量で済む通信ラウンド数を最小限に抑えるために、分散行列-ベクトル積を活用する。
• 分散線形システムの解を高確率で近似するために、バリアンス低減および事前処理を施した反復的ソルバーを適用する。
• ロバスト性を向上させるために、局所的ランク1射影の平均（集約射影行列）を代替の集約戦略として採用する。
• 集中不等式およびスペクトルギャップ仮定を用いて、通信複雑度および推定誤差の理論的バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 分散PCAにおける局所的ERMソリューションの単純な平均化は、中央集権的ERMと同等の推定誤差を達成できるか？
• RQ2 非凸性のため平均化が失敗する状況で、一貫性を回復するための補正機構は何か？
• RQ3 通信ラウンド数を減らした反復的分散アルゴリズムは、従来の手法よりも高速に収束できるか？
• RQ4 各マシンの標本サイズnに応じて、提案された集約手法（符号修正および射影平均化）の性能はどのようにスケーリングされるか？
• RQ5 分散確率的PCAにおいて、中央集権的ERMレベルの精度に到達するための通信複雑度は何か？

主な発見

• 非凸性および符号の不定性のため、単純な平均化では、マシン数が増加しても1台のマシンの性能を超える推定誤差の改善が得られない。
• 提案された符号修正補正により、nが十分に大きい場合には中央集権的ERMソリューションに近い誤差にまで収束する一貫性のある推定が可能になる。
• 反復的分散アルゴリズムは、通信複雑度が Õ(1/√(δ√n)) ラウンドにまで低下し、広いパrameter領域において従来手法を著しく上回る。
• 実験結果から、射影平均化集約法が符号修正法を上回り、漸近的に中央集権的ERMの精度に一致することが示された。
• ガウス分布および一様分布を含むさまざまなデータ分布に対して、本手法は一貫した性能向上を示し、単純な平均化を上回る。
• 理論的分析により、高確率で推定誤差が O(√(ln(d/p)/(δ√n))) 以内に収束することが確認された。