[論文レビュー] Fast and Faster: A Comparison of Two Streamed Matrix Decomposition Algorithms

Radim Řehůřek|arXiv (Cornell University)|Feb 28, 2011

Data Mining Algorithms and Applications被引用数 4

ひとこと要約

この論文は、1パス分散行列分解アルゴリズム（P1）と2パス確率的アルゴリズム（P2）を比較し、P2の高速性とP1の1パス精度を組み合わせた新規ハイブリッド手法（P12）を提案する。英語Wikipediaコーパスにおいて、P12は1台のマシンで4時間20分、4ノードクラスタで1時間41分で分解を完了し、最適化されたオーバースamplingとパワー反復を用いることでP2を上回る速度を発揮しながらも、競争力ある精度を維持した。

ABSTRACT

With the explosion of the size of digital dataset, the limiting factor for decomposition algorithms is the \\emph{number of passes} over the input, as the input is often stored out-of-core or even off-site. Moreover, we're only interested in algorithms that operate in \\emph{constant memory} w.r.t. to the input size, so that arbitrarily large input can be processed. In this paper, we present a practical comparison of two such algorithms: a distributed method that operates in a single pass over the input vs. a streamed two-pass stochastic algorithm. The experiments track the effect of distributed computing, oversampling and memory trade-offs on the accuracy and performance of the two algorithms. To ensure meaningful results, we choose the input to be a real dataset, namely the whole of the English Wikipedia, in the application settings of Latent Semantic Analysis.

研究の動機と目的

• 大規模な実世界のデータセット上での1パスおよび2パスストリーミング行列分解アルゴリズムの精度、性能、拡張性のトレードオフを評価すること。
• ストリーミング環境下での分解品質に与える入力順序、オーバースampling、パワー反復の影響を調査すること。
• 2パス法の高速性と、分散1パス手法のメモリ効率および精度を組み合わせたハイブリッドアルゴリズム（P12）の設計および実装すること。
• 実世界の大規模データセット（英語Wikipedia）を用いて、分散コンピューティングの性能およびスケーラビリティへの影響を評価すること。

提案手法

• ドキュメントチャンクを並列処理する1パス分散アルゴリズム（P1）を実装し、SVDLIBCを用いて各チャンクでインラインSVDを実行し、結果をグローバル分解に統合する。
• Halkoら（2009）の2パス確率的アルゴリズム（P2）を、観測値をストリーミング処理し、行列乗算を完全に回避するように変更して、定常メモリで動作可能にする。
• P1のインラインSVDをP2の高速な確率的分解に置き換えることで、1パス処理を維持しつつも速度を向上させるハイブリッドアルゴリズム（P12）を開発する。
• P2におけるオーバースamplingとパワー反復を用いて精度を向上させ、その性能と収束への影響を評価する。
• TF-IDFベクトル化を用いて、320万件の英語Wikipediaドキュメントからなる実世界のデータセットを用いて、潜在的意味解析（LSA）に適用する。
• チャンクサイズ、入力順序、クラスタ構成（1〜4ノード）を変化させ、壁時計時間と特異値解析による分解精度を測定して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模な実世界のデータセット上での1パス分散アルゴリズム（P1）と2パス確率的アルゴリズム（P2）の精度は、同一条件のもとでどのように比較されるか？
• RQ2 入力ストリームの順序が、特にランダム化が行われない状況下での1パスアルゴリズムの分解品質にどの程度影響を及ぼすか？
• RQ3 オーバースamplingとパワー反復は、2パス確率的アルゴリズム（P2）の精度をどの程度向上させることができ、その性能コストはいかほどか？
• RQ4 ハイブリッドアルゴリズム（P12）は、P2の高速性とP1の1パス精度を効果的に組み合わせることができ、クラスタ環境でのスケーリングはどの程度達成できるか？
• RQ5 チャンクサイズとクラスタサイズは、分散環境下での1パスアルゴリズム（P1およびP12）の実行時間と精度にどのような影響を及ぼすか？

主な発見

• ハイブリッドP12アルゴリズムは、1台の2GHzマシンで4時間20分で分解を完了し、オーバースamplingとパワー反復を最適化したP2アルゴリズム（3時間6分）を上回る速度を発揮した。
• 4ノードクラスタでは、P12アルゴリズムはわずか1時間41分で分解を完了し、計算ノード数に比例した良好な線形スケーリングを示した。
• 1パスP1アルゴリズムは入力順序に顕著に敏感であった：アルファベット順に並べた入力からの特異値は、シャッフルされた入力からのものよりも精度が低く、部分空間のずれ（subspace drift）を示唆した。
• P2におけるオーバースamplingとパワー反復は精度を著しく向上させたが、実行時間の増加を伴うため、ストリーミング環境下での精度とパス効率のトレードオフを浮き彫りにした。
• 2パスP2アルゴリズムは、複数回のパスによるI/Oボトルネックのため、分散環境では恩恵を受けることができず、データが事前に分散済みでない限り、ネットワーク環境や分散環境には不適切である。
• ハイブリッドP12アルゴリズムは、P1と同等の高い精度を維持しながらP2よりも高速な性能を発揮し、確率的処理の高速性と分散1パス処理のロバスト性を組み合わせる有効性を示した。