[論文レビュー] Generic Multiplicative Methods for Implementing Machine Learning Algorithms on MapReduce

Song Liu, Peter Flach+1 more|arXiv (Cornell University)|Nov 9, 2011

Stochastic Gradient Optimization Techniques参考文献 7被引用数 3

ひとこと要約

この論文は、MapReduceフレームワーク上で機械学習アルゴリズムをスケーリングするための汎用乗法的モデルを提案しており、類似度ベースおよび反復的アルゴリズム（NMF、SVM、PageRankなど）の効率的な並列化を可能にしている。共通する計算パターン（特に行列乗算と乗法的更新）を抽象化することで、大規模データセット上で線形スループット向上と高いスケーラビリティを達成し、実行時間と効率の両面で従来のO(m³)実装を上回っている。

ABSTRACT

In this paper we introduce a generic model for multiplicative algorithms which is suitable for the MapReduce parallel programming paradigm. We implement three typical machine learning algorithms to demonstrate how similarity comparison, gradient descent, power method and other classic learning techniques fit this model well. Two versions of large-scale matrix multiplication are discussed in this paper, and different methods are developed for both cases with regard to their unique computational characteristics and problem settings. In contrast to earlier research, we focus on fundamental linear algebra techniques that establish a generic approach for a range of algorithms, rather than specific ways of scaling up algorithms one at a time. Experiments show promising results when evaluated on both speedup and accuracy. Compared with a standard implementation with computational complexity $O(m^3)$ in the worst case, the large-scale matrix multiplication experiments prove our design is considerably more efficient and maintains a good speedup as the number of cores increases. Algorithm-specific experiments also produce encouraging results on runtime performance.

研究の動機と目的

• MapReduce並列コンピューティングモデル上で、複数の機械学習アルゴリズムをスケーリングするための汎用的かつ再利用可能なフレームワークを開発すること。
• NMF、SVM、PageRankなどの多様なアルゴリズムに共通する計算パターン（特に乗法的更新と行列演算）を特定し、それらを抽象化すること。
• パーティショニングと並列化戦略を活用して、類似度ベースおよび反復的学習アルゴリズムのスケーラビリティとパフォーマンスを向上させること。
• 統一モデルが、個々のアルゴリズム特有の最適化と比較して、効率性と一般適用性の両面で優れていることを示すこと。
• 反復的および類似度ベースのアルゴリズムの効率的で分散実行可能な基盤を提供することで、将来の大規模学習システムの基盤を築くこと。

提案手法

• NMF、SVM、PageRankに共通する反復的更新ルールを行列乗算演算として抽象化する汎用乗法的モデルを設計すること。
• スパースおよび密度の高い行列設定に適した、大規模行列乗算の2つのバリアントを実装し、負荷分散と並列性の最大化を図るためのデータパーティショニングを活用すること。
• 異なる行列密度とクラスタ規模に適応可能な柔軟な「パーティショニングスキーマ」構成を導入し、多様なワークロードに最適化されたパフォーマンスを実現すること。
• 3つの主要なアルゴリズムにモデルを適用する：NMFは乗法的更新、SVMはカーネル行列計算、PageRankは反復的行列-ベクトル乗算。
• MapReduceの関数型抽象化を活用して、すべての操作をマップおよびリダスのフェーズとして表現し、Hadoopに類似したクラスタ上で分散実行可能にする。
• 冗長なデータシャッフルを最小限に抑え、行列パーティションを計算アクセスパターンに一致させることで、計算を最適化すること。

実験結果

リサーチクエスチョン

• RQ1 1つの汎用モデルが、反復的かつ乗法的更新を伴う複数の機械学習アルゴリズムを効果的に抽象化し、スケーリングできるか？
• RQ2 提案された乗法的モデルは、大規模データに対してMapReduceパラダイムでどのように効率的な並列化を達成するか？
• RQ3 異なる行列密度とクラスタサイズにおいて、パフォーマンスを最大化するためのパーティショニングおよび負荷分散戦略は何か？
• RQ4 標準実装と比較して、汎用モデルは正確性を維持しつつ、実行時間とスケーラビリティの両面でどの程度向上するか？
• RQ5 NMF、SVM、PageRankといった多様なアルゴリズムに、一貫したパフォーマンス向上をもたらすために、このモデルを適用可能か？

主な発見

• 汎用乗法的モデルは、大規模行列乗算において線形スループット向上を達成し、実際には理論的O(m³)複雑度を著しく上回った。
• NMFの実装では、効率的なパーティショニングと並列化のおかげで、類似度比較および乗法的更新フェーズで顕著なスループット向上が得られた。
• SVMの実装は、大規模なカーネル行列においてLibSVMと同等のパフォーマンスを達成し、分散システムにおける良好なスケーラビリティを示した。
• PageRankは570万ページのWikipediaコーパスに成功裏に適用され、100イテレーションで1時間以内に収束し、実証的に妥当なランク付け結果が得られた。
• 行列の密度がスループット向上率に顕著な影響を及ぼす重要な要因であることが判明した。特に、通信オーバーヘッドが少ないスパース設定で優れたパフォーマンスが得られた。
• 提案された「パーティショニングスキーマ」構成は、行列のスパarsityとクラスタ規模に適応することで、顕著なパフォーマンス向上をもたらし、効率的な負荷分散を実現した。