[論文レビュー] Optimal Principal Component Analysis in Distributed and Streaming Models

Christos Boutsidis, David P. Woodruff+1 more|arXiv (Cornell University)|Apr 25, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用数 4

ひとこと要約

本稿は、分散およびストリーミング設定における主成分分析（PCA）の最適な通信量と空間効率のアルゴリズムを提示する。分散モデルではスパarsityを活用することで、近似的に最適な通信量を達成し、高精度PCAの通信複雑度と空間境界に関する未解決の問題を解消する、理論的保証が明確な単一パスのストリーミングアルゴリズムを提供する。

ABSTRACT

We study the Principal Component Analysis (PCA) problem in the distributed and streaming models of computation. Given a matrix $A \in R^{m imes n},$ a rank parameter $k < rank(A)$, and an accuracy parameter $0 < ε< 1$, we want to output an $m imes k$ orthonormal matrix $U$ for which $$ || A - U U^T A ||_F^2 \le \left(1 + ε ight) \cdot || A - A_k||_F^2, $$ where $A_k \in R^{m imes n}$ is the best rank-$k$ approximation to $A$. This paper provides improved algorithms for distributed PCA and streaming PCA.

研究の動機と目的

• マシン間のデータ転送を最小限に抑えつつ、高精度な低ランク近似を維持する分散PCAにおける通信ボトルネックを解消する。
• 任意のパーティションモデルにおける高精度PCAの最適通信複雑度に関する未解決問題を解消する。
• 特にトゥルースタイルおよびカラム到着モデルにおいて、最小限のメモリ使用量で空間効率の良いストリーミングアルゴリズムを設計する。
• スパarsity制約下での分散カラムサブセット選択における通信下界を確立する。
• 低ランク近似と解の部分空間を張るカラムのサブセットを同時に出力するプロトコルを提供し、その後続処理を効率的に行えるようにする。

提案手法

• 任意のパーティションモデルにおける通信最適プロトコルを提案し、O(skm) + poly(sk/ε) 単位の通信量を達成。従来の O(skm/ε) の境界から ε 依存性を m とは分離することで改善を達成する。
• カラムパーティションモデルにおけるスパースカラム指向プロトコルを導入し、カラムスパarsity φ を活用することで、O(skφ/ε) + poly(sk/ε) 単位の通信量を達成。行列次元とは独立して実現される。
• O(km) + poly(k/ε) 単位のメモリを用いる二パスストリーミングアルゴリズムを設計。既知の Ω(km/ε) ビット下界にほぼ一致する。
• トゥルースタイルに適応したアルゴリズムを構築し、O((m+n)kε⁻¹) 単位のメモリを用いる。従来の O((m+n)ε⁻²kε⁻²) の境界を改善し、既知の下界に一致する。
• 情報理論的議論と条件付きエントロピーを用い、有界な要素を持つ行列の難しい分布への還元により下界を証明する。
• スパース行列の構造とカラムサブセット選択の性質を活用し、各マシンが解部分空間を張る O(k/ε) 個のカラムの集合を出力することを保証する。

実験結果

リサーチクエスチョン

• RQ1 任意のパーティションモデルにおける分散PCAの最適通信複雑度は何か？ また、ε 項における m 依存性を回避して達成可能か？
• RQ2 カラムがスパースな場合、カラムパーティションモデルにおいて通信量を行列次元から独立させることは可能か？
• RQ3 一定数のパスを用いたストリーミングPCAにおける最適空間複雑度は何か？ そして、最小限のメモリで達成可能か？
• RQ4 分散カラムサブセット選択の通信複雑度は、スパarsity φ と精度 ε に対してどのようにスケーリングされるか？
• RQ5 入力行列の条件数に依存しない空間効率の良いストリーミングアルゴリズムを設計可能か？

主な発見

• 本稿は、任意のパーティションモデルにおける分散PCAに対して Ω(skm) の下界を確立し、提案されたプロトコルの通信コストと、低次の項を除いて一致する。
• 各カラムに φ 個の非ゼロ要素を持つスパース行列に対して、プロトコルは O(skφ/ε) + poly(sk/ε) 単位の通信量を達成し、これは最適であり、m や n に依存しない。
• 二パスストリーミングアルゴリズムは O(km) + poly(k/ε) 単位のメモリを用い、既知の Ω(km/ε) ビット下界にほぼ一致するため、poly(k/ε) 要素を除いて空間最適である。
• トゥルースタイルでは、O((m+n)kε⁻¹) 単位のメモリを用い、従来の O((m+n)ε⁻²kε⁻²) の境界を改善し、既知の Ω((m+n)kε⁻¹) 下界に一致する。
• 分散カラムサブセット選択の通信下界は Ω(sφk log(mn)/ε) ビットであり、標準的なワードサイズ下では Ω(sφk/ε) 単位に相当し、これはタイトな下界である。
• 提案されたプロトコルは入力行列の条件数に依存せず、広範なデータ分布にわたりロバストである。