[論文レビュー] Primitives for Dynamic Big Model Parallelism

Seunghak Lee, Jin Kyu Kim+4 more|arXiv (Cornell University)|Jun 18, 2014

Graph Theory and Algorithms参考文献 27被引用数 15

ひとこと要約

この論文は、動的モデル並列プリミティブ（スケジューリング、プッシュ、プル）を備えたSTRADSというフレームワークを紹介している。これにより、分散ワーカーにモデル変数を分割することで、大規模な機械学習モデルの効率的かつスケーラブルな学習が可能になる。特にトピックモデル、行列分解、リッジ回帰において、2000億パラメータに達するモデルについて、YahooLDA や GraphLab といったベースラインと比較して、より高速な収束とより大きなモデルスケーラビリティを達成している。

ABSTRACT

When training large machine learning models with many variables or parameters, a single machine is often inadequate since the model may be too large to fit in memory, while training can take a long time even with stochastic updates. A natural recourse is to turn to distributed cluster computing, in order to harness additional memory and processors. However, naive, unstructured parallelization of ML algorithms can make inefficient use of distributed memory, while failing to obtain proportional convergence speedups - or can even result in divergence. We develop a framework of primitives for dynamic model-parallelism, STRADS, in order to explore partitioning and update scheduling of model variables in distributed ML algorithms - thus improving their memory efficiency while presenting new opportunities to speed up convergence without compromising inference correctness. We demonstrate the efficacy of model-parallel algorithms implemented in STRADS versus popular implementations for Topic Modeling, Matrix Factorization and Lasso.

研究の動機と目的

• 数十億のパラメータを持つ大規模な機械学習モデルを、単一マシンのメモリ容量を超える場合に学習する課題に対処すること。
• 単純なデータ並列や静的モデル並列アプローチに起因する非効率性（スケーリングが悪い、アルゴリズムの発散）を克服すること。
• モデル変数のための細粒度の、ユーザー制御可能なスケジューリングおよび更新戦略を可能にすることで、依存関係を低減し、収束速度を向上させること。
• トピックモデル、行列分解、リッジ回帰など、多様な機械学習ワークロードに適用可能な汎用的でプログラム可能なフレームワークとしての動的モデル並列性を提供すること。
• 動的スケジューリングと変数のパーティショニングが、正しさを損なわずに、メモリ効率と収束性能を顕著に向上させることを実証すること。

提案手法

• スケジューリング（どのモデル変数を更新するか選択する）、プッシュ（ワーカー上で部分的な更新を計算する）、プル（更新を集約し、自動同期を伴って適用する）の3つのコアプリリミティブを導入する。
• 中央スケジューラが変数の更新を管理するスター型トポロジーを採用し、各プル後に自動同期により一貫性を保証する。
• 変数の重要性と依存関係解析に基づき、LDAには単語ローテーション、MFにはラウンドロビン、Lassoには動的優先度の動的スケジューリング戦略を実装する。
• 分散ワーカーにモデル変数を分割することで、メモリ圧力を軽減し、完全なモデルの複製を回避し、従来のシステムより大きなモデルの学習を可能にする。
• 座標降下法と畳み込みギブスサンプリングをSTRADSフレームワーク内で適用することで、収束を維持しつつ並列化を実現する。
• 拡張性を考慮し、ユーザーが異なる機械学習アルゴリズムに応じてカスタムスケジューリングおよび更新ロジックを定義できるように設計する。

実験結果

リサーチクエスチョン

• RQ1 動的スケジューリングプリミティブを備えたプログラマブルなフレームワークは、大規模な機械学習モデルの収束速度とスケーラビリティを向上させることができるか？
• RQ2 静的またはデータ並列アプローチと比較して、動的変数パーティショニングとスケジューリングは、並列化誤差と同期オーバーヘッドをどのように低減するか？
• RQ3 STRADSは、数百000億パラメータに達するモデル（例えば大規模トピックモデルや高ランク行列分解）にどの程度スケーリングできるか？
• RQ4 Lassoにおけるモデル変数の動的優先度スケジューリングは、静的またはラウンドロビンスケジューリングと比較して、収束速度を著しく向上させるか？
• RQ5 YahooLDA や GraphLab といった既存システムよりも大きなモデルサイズを扱える中で、STRADSは収束の正しさと目的関数の品質を維持できるか？

主な発見

• STRADSは、2200万のビグラムと10,000トピック（2000億パラメータ）を持つトピックモデルを正常に学習した。これは、YahooLDAの5000トピック制限を大きく上回る。
• 行列分解において、STRADSは48万×10万の行列（10億変数）に対してランク2000までスケーリングした。これは、GraphLabの過去の制限（ランク<80）を大きく上回る。
• 1億の特徴量を持つLassoにおいて、STRADSは動的優先度スケジューリングを用いて、最適な目的関数値に約250秒で収束した。これはLasso-RRよりも著しく高速であった。
• STRADSはほぼ線形スケーリングを達成した。LDA実験では、マシン数を2倍にしたごとに収束時間がほぼ半減し、強力な水平スケーラビリティを示した。
• 知的な変数パーティショニングとスケジューリングにより、並列化誤差と同期オーバーヘッドを低減し、静的またはデータ並列ベースラインと比較して収束が速くなった。
• すべてのタスクにおいて、STRADSはベースラインよりも高い目的関数値を維持した。これは、性能向上が収束の妥協によるものではなく、より優れたアルゴリズム的設計によるものであることを確認した。