[論文レビュー] Dimension Independent Matrix Square using MapReduce

Reza Bosagh Zadeh, Gunnar Carlsson|arXiv (Cornell University)|Apr 4, 2013

Stochastic Gradient Optimization Techniques参考文献 29被引用数 18

ひとこと要約

本稿では、非適応的サンプリングを用いて、分散型MapReduce環境で行列の二乗 $A^T A$ を効率的に計算する次元に依存しないアルゴリズムであるDIMSUMを提示する。シャッフルサイズ $O(n^2 / \epsilon^2)$ およびリデュースキーの複雑度 $O(n / \epsilon^2)$ を達成し、$m$ に依存しない相対誤差の保証を有する。これにより、$m \gg n$ の巨大なスパース行列においてもスケーラブルなSVD計算が可能になる。この手法は特異値を高い確率で保持し、非負行列に対して最適化されており、類似度が高いエントリを推定する際にはシャッフルサイズを $O(n \log n / s)$ に削減できる。ここで $s$ は最小のコサイン類似度を表す。

ABSTRACT

We compute the singular values of an $m imes n$ sparse matrix $A$ in a distributed setting, without communication dependence on $m$, which is useful for very large $m$. In particular, we give a simple nonadaptive sampling scheme where the singular values of $A$ are estimated within relative error with constant probability. Our proven bounds focus on the MapReduce framework, which has become the de facto tool for handling such large matrices that cannot be stored or even streamed through a single machine. On the way, we give a general method to compute $A^TA$. We preserve singular values of $A^TA$ with $ε$ relative error with shuffle size $O(n^2/ε^2)$ and reduce-key complexity $O(n/ε^2)$. We further show that if only specific entries of $A^TA$ are required and $A$ has nonnegative entries, then we can reduce the shuffle size to $O(n \log(n) / s)$ and reduce-key complexity to $O(\log(n)/s)$, where $s$ is the minimum cosine similarity for the entries being estimated. All of our bounds are independent of $m$, the larger dimension. We provide open-source implementations in Spark and Scalding, along with experiments in an industrial setting.

研究の動機と目的

• 非常に大きな $m \times n$ のスパース行列（$m$ が単一のマシンに格納またはストリーム処理するには大きすぎる）における $A^T A$ の計算におけるスケーラビリティのボトル neck を解決すること。
• 分散SVD計算における通信および計算の $m$ 依存性を排除し、高次元データ環境下での効率的な特異値推定を可能にすること。
• $A^T A$ エントリの相対誤差バウンドを維持する、証明可能に正確な非適応的サンプリング方式を提供すること。シャッフルサイズは $O(n^2 / \epsilon^2)$、リデュースキーの複雑度は $O(n / \epsilon^2)$ に限定される。
• コサイン類似度 $\geq s$ のエントリを推定する際、非負行列を最適化し、シャッフルサイズを $O(n \log n / s)$、リデュースキーの複雑度を $O(\log n / s)$ に削減することで、類似度の高いペアの効率を向上させること。

提案手法

• 各行列の行を処理するマッパーを用いた非適応的サンプリング方式を提案。正規化された大きさとランダムスケーリングに基づき、列ペアの重み付き積を出力する。
• リデューサー出力の期待値が列間の正規化された内積（コサイン類似度）に一致するように、$A^T A$ エントリの確率的推定器を用いる。
• 文献[23]におけるスペクトルノルムの集中不等式を用いて、推定された $A^T A$ エントリが定数確率で $\epsilon$ の相対誤差内にあることを証明する。
• ペアワイズ独立性が緩和されるが、各行あたりの乱数生成を減らすために、合計リデューサーを用いるより軽量なバージョン（LeanDIMSUM）を導入する。
• チェルノフの不等式を適用し、シャッフルサイズが高確率で $O(n^2 / \epsilon^2)$ であることを示し、スケーラビリティを保証する。
• 非負行列を最適化するため、列ノルムを $\min(1, \sqrt{\gamma}/\|c_j\|)$ でしきい値処理することで、高マグニチュードの列に対する冗長な出力を削減する。

実験結果

リサーチクエスチョン

• RQ1 大規模な次元 $m$ に依存しない通信および計算を伴う分散型MapReduce環境で $A^T A$ を計算することは可能か？
• RQ2 相対誤差 $\epsilon$ で $A^T A$ エントリを推定するための最小のシャッフルサイズとリデュースキーの複雑度は何か？
• RQ3 コサイン類似度が高い列ペアを活用することで、非負行列に対してさらに最適化できるか？
• RQ4 ランダムスケーリングを伴う非適応的サンプリングは、定数確率で $A$ の特異値を相対誤差バウンド内に保持するか？
• RQ5 高類似度エントリの推定に必要なシャッフルサイズの理論的下界は何か？また、DIMSUMはその下界と比較してどのように位置づけられるか？

主な発見

• 相対誤差 $\epsilon$ で $A^T A$ エントリを推定するためのシャッフルサイズは $O(n^2 / \epsilon^2)$ であり、$m$ に依存しない。これは、ナイーブな $O(mL^2)$ のアプローチに比べ顕著な改善である。
• リデュースキーの複雑度は $O(n / \epsilon^2)$ であり、$m$ に依存せず、$m = 10^{13}$ であっても実用的な分散計算が可能である。
• 非負行列の場合、コサイン類似度 $\geq s$ のエントリを推定する際、シャッフルサイズを $O(n \log n / s)$、リデュースキーの複雑度を $O(\log n / s)$ に削減でき、類似度の高いペアの効率が向上する。
• 文献[23]で新たに導入された特異値集中不等式を用いて、スペクトルノルムにおける相対誤差バウンドが定数確率で達成されることを証明した。
• ツイッターでの実験では、DIMSUMを本番環境に導入した後、パフォーマンス指標で40％の改善が得られ、実世界におけるスケーラビリティと効率性が実証された。
• SparkおよびScaldingにおけるオープンソース実装が、主要な商用ディストリビューションに統合されており、実用的採用と堅牢性が確認された。