[論文レビュー] Probabilistic Synchronous Parallel

Liang Wang, Ben Catterall+1 more|arXiv (Cornell University)|Sep 22, 2017

Stochastic Gradient Optimization Techniques参考文献 16被引用数 5

ひとこと要約

本稿では、分散機械学習における新しいバリア制御技術である確率的同期並列（PSP）を提案する。PSPは、ノードの進捗を確率的に推定するサンプリングプリミティブを用いることで、BSP、SSP、ASPよりも高速な収束と優れたスケーラビリティを実現する。PSPはモデル整合性とバリア制御を分離し、完全に分散型のデプロイメントをサポートし、通信オーバーヘッドを最小限に抑えつつ、より強い収束保証を提供する。

ABSTRACT

Most machine learning and deep neural network algorithms rely on certain iterative algorithms to optimise their utility/cost functions, e.g. Stochastic Gradient Descent. In distributed learning, the networked nodes have to work collaboratively to update the model parameters, and the way how they proceed is referred to as synchronous parallel design (or barrier control). Synchronous parallel protocol is the building block of any distributed learning framework, and its design has direct impact on the performance and scalability of the system. In this paper, we propose a new barrier control technique - Probabilistic Synchronous Parallel (PSP). Com- paring to the previous Bulk Synchronous Parallel (BSP), Stale Synchronous Parallel (SSP), and (Asynchronous Parallel) ASP, the proposed solution e ectively improves both the convergence speed and the scalability of the SGD algorithm by introducing a sampling primitive into the system. Moreover, we also show that the sampling primitive can be applied atop of the existing barrier control mechanisms to derive fully distributed PSP-based synchronous parallel. We not only provide a thorough theoretical analysis1 on the convergence of PSP-based SGD algorithm, but also implement a full-featured distributed learning framework called Actor and perform intensive evaluation atop of it.

研究の動機と目的

• 大規模で動的かつ信頼性の低い分散システムにおける、既存のバリア制御手法（BSP、SSP、ASP）の限界を解消すること。
• モデル整合性とバリア制御を分離することで、分散学習における通信および調整オーバーヘッドを低減すること。
• ネットワークの非均一性やノードの加入・退出（churn）に対しても収束保証を維持できる、スケーラブルで完全に分散型の同期メカニズムを設計すること。
• 確率的で効率的かつ合成可能なバリア制御を可能にする新しいシステムプリミティブ「サンプリング」を導入・評価すること。
• PSPを用いたSGDの理論的収束バウンディングを提示し、ASPやSSPのそれよりもきめ細かくかつよりロバストであることを示すこと。

提案手法

• 計算ステップの完了したノードの割合を推定するサンプリングプリミティブを導入し、確率的バリアトリガーを可能にする。
• 遅延分布の $ r $ ステップ以内に着目し、stalenessパラメータ $ r $ とサンプリング回数 $ \beta $ を用いて、確率的収束バウンディングを定義する。
• サンプリングによる進捗状況を用いてバリア制御とモデルパラメータ更新を分離することで、グローバルな調整に依存するのを軽減する。
• BSP や SSP といった既存プロトコルとサンプリングプリミティブを組み合わせることで、高階層で完全に分散型の同期メカニズムを構築する。
• パラメータ更新の期待値と分散に関する理論的バウンディングを導出する。その依存関係は、$ r $ ステップ以内の遅延分布の初期部分に限定されることが示される。
• 実装と評価に分散型アクター基盤を採用し、非均質環境におけるPSPの実世界での妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 確率的サンプリングに基づくバリア制御メカニズムは、決定的または完全に非同期な手法と比較して、分散SGDにおける収束速度とスケーラビリティを向上させることができるか？
• RQ2 重尾分布や時間的に変化する遅延分布の下で、サンプリングプリミティブはASPやSSPと比較して収束保証にどのような影響を与えるか？
• RQ3 BSP や SSP といった既存のバリア制御メカニズムと、サンプリングプリミティブをどの程度合成して、完全に分散型でスケーラブルな同期を実現できるか？
• RQ4 サンプリング回数 $ \beta $ とstalenessパラメータ $ r $ が、収束バウンディングのきめ細かさとシステムパフォーマンスに与える影響はどの程度か？
• RQ5 PSPは、大規模で動的かつ信頼性の低い分散システムにおいて、通信および調整オーバーヘッドを低減しながらも、強力な収束保証を維持できるか？

主な発見

• PSPは、収束バウンディングを遅延分布の最初の $ r $ ステップ内の確率質量にのみ依存するため、ASP よりもきめ細かい収束バウンディングを達成する。
• サンプリング回数 $ \beta $ を 1 から 100 に増加させることで収束バウンディングが著しくきつくなるが、小さな $ \beta $ を超えると効果の逓減が顕著であり、最小限のサンプリングで高い効率性を示す。
• PSPは重尾分布や時間的に変化する遅延分布に対してもロバストであり、システムのダイナミクスが変動しても安定した収束性能を維持する。
• PSPは収束安定性においてASPを上回り、平均遅延に依存しないため、時間の経過とともに性能が劣化しない。
• PSPはグローバルなシステム状態の知識を必要としない完全に分散型のバリア制御メカニズムを提供する。SSPとは異なり、水平スケーリングに優れる。
• 実世界のアクター基盤システムでの評価により、PSPは多様なネットワーク環境下で、既存手法よりも高速な収束と優れたスケーラビリティを達成することが確認された。