[論文レビュー] Petuum: A New Platform for Distributed Machine Learning on Big Data

Eric P. Xing, Qirong Ho+8 more|arXiv (Cornell University)|Dec 30, 2013

Graph Theory and Algorithms参考文献 26被引用数 9

ひとこと要約

Petuumは、反復的収束最適化、誤差有界同期、動的スケジューリングを活用することで、大規模な機械学習ワークロードの効率的かつスケーラブルな実行を可能にする分散機械学習プラットフォームです。Spark、GraphLab、YahooLDAに対して2–10倍の高速化を達成し、限定的なクラスタで最大1000億パラメータのモデルをサポートするなど、ビッグデータおよびビッグモデルにおける優れたパフォーマンスとスケーラビリティを示しています。

ABSTRACT

What is a systematic way to efficiently apply a wide spectrum of advanced ML programs to industrial scale problems, using Big Models (up to 100s of billions of parameters) on Big Data (up to terabytes or petabytes)? Modern parallelization strategies employ fine-grained operations and scheduling beyond the classic bulk-synchronous processing paradigm popularized by MapReduce, or even specialized graph-based execution that relies on graph representations of ML programs. The variety of approaches tends to pull systems and algorithms design in different directions, and it remains difficult to find a universal platform applicable to a wide range of ML programs at scale. We propose a general-purpose framework that systematically addresses data- and model-parallel challenges in large-scale ML, by observing that many ML programs are fundamentally optimization-centric and admit error-tolerant, iterative-convergent algorithmic solutions. This presents unique opportunities for an integrative system design, such as bounded-error network synchronization and dynamic scheduling based on ML program structure. We demonstrate the efficacy of these system designs versus well-known implementations of modern ML algorithms, allowing ML programs to run in much less time and at considerably larger model sizes, even on modestly-sized compute clusters.

研究の動機と目的

• 学術的な機械学習実装と大規模クラスタ上での産業的導入との間のスケーラビリティギャップを解消すること。
• Hadoop、Spark、GraphLabなどの既存プラットフォームが大規模モデルや細粒度の同期処理を扱う際の制限を克服すること。
• さまざまな機械学習アルゴリズムをサポートする単一のフレームワークとして、データ並列性とモデル並列性を統合すること。
• 限定的なクラスタサイズでも、高度な機械学習アルゴリズムの効率的で正しい、かつプログラマブルな実行を可能にすること。
• 機械学習アルゴリズムの構造に基づく体系的なシステム設計が、パフォーマンスとスケーラビリティを顕著に向上させられることを示すこと。

提案手法

• 機械学習アルゴリズムの反復的収束性をシステム設計の基盤とし、誤差耐容性と収束性を確保する計算を可能にします。
• 正しさを保証しつつも、パフォーマンス向上のための非同期処理を可能にする、誤差有界ネットワーク同期メカニズムを導入します。
• データおよびモデルの依存関係を活用して、計算と通信のスケジューリングを最適化する動的スケジューラを採用します。
• 最小限のストレージオーバーヘッドでモデル並列性をサポートする、軽量なパラメータサーバーアーキテクチャを採用します。
• 依存関係を意識したスケジューリングを適用することで、LDA や行列分解などのアルゴリズムの正しいかつ効率的なモデル並列実行を実現します。
• 統一された抽象化を通じて、データ並列とモデル並列の両方の実行パターンをサポートし、多様な機械学習プログラム間での移植性を実現します。

実験結果

リサーチクエスチョン

• RQ1 一般用途の分散機械学習プラットフォームは、ビッグデータおよびビッグモデルを高効率かつ正しく処理できるでしょうか？
• RQ2 誤差有界同期と動的スケジューリングは、収束保証を損なわずに分散機械学習のパフォーマンスをどのように向上させられるでしょうか？
• RQ3 1つのフレームワークが、LDA や行列分解、ディープラーニングを含む多様な機械学習アルゴリズムを、さまざまなハードウェア構成でどれほど効果的にサポートできるでしょうか？
• RQ4 Petuumは、Caffe や DML といった単一マシンアルゴリズムのクラスタ実装において、ほぼ線形のスケーリングを達成できますか？
• RQ5 Petuumのモデル並列性とパラメータサーバー設計は、限られたハードウェア環境でも1000億パラメータを超えるモデルのスケーリングをどのように可能にしているでしょうか？

主な発見

• Petuumは、行列分解とLDAワークロードにおいて、Spark や GraphLab よりも2–6倍の高速化を達成し、LDA では YahooLDA よりも最大6倍の高速化を実現（優れたスケジューリングのおかげ）。
• Petuumは、与えられたハードウェア上での行列分解をランク K ≥ 1000 までスケーリングできる唯一のプラットフォームであり、Spark や GraphLab を上回っています。
• Petuumが実装したCaffe CNNは、4台のマシンで3.1倍の高速化を達成し、最小限のコード変更でほぼ線形のスケーリングを示しています。
• PetuumのDML実装は、4台のマシンで単一マシンの Xing2002 実装よりも3.8倍速く収束し、データ並列SGDの強力なパフォーマンスを示しています。
• PetuumのLDAは、収束が速く、YahooLDAのデータ並列オンative実装よりも10倍以上大きなLDAモデルをサポートしており、長尾トピックの抽出を可能にしています。
• Petuumのモデル並列性と軽量なパラメータサーバーは、メモリオーバーヘッドを低減させ、固定されたクラスタメモリ予算内でより大きなモデルの学習を可能にしています。