[論文レビュー] Asynchronous Parallel Stochastic Gradient Descent - A Numeric Core for Scalable Distributed Machine Learning Algorithms

Janis Keuper, Franz‐Josef Pfreundt|arXiv (Cornell University)|May 19, 2015

Stochastic Gradient Optimization Techniques参考文献 14被引用数 8

ひとこと要約

本稿では、スケーラブルな分散機械学習を実現するためのロックフリーで通信最適化されたアルゴリズム、非同期並列確率的勾配降下法（ASGD）を提案する。GASPIを介した非同期シングルサイド通信とミニバッチ更新を活用することで、MapReduceベースおよび同期的メソッドと比較して、収束速度が速く、スケーラビリティに優れる。1TBのデータを用いた大規模なK-平均法クラスタリングワークロードにおいて、速度と安定性の両面でSimuParallelSGDおよびBATCHを上回る性能を発揮する。

ABSTRACT

The implementation of a vast majority of machine learning (ML) algorithms boils down to solving a numerical optimization problem. In this context, Stochastic Gradient Descent (SGD) methods have long proven to provide good results, both in terms of convergence and accuracy. Recently, several parallelization approaches have been proposed in order to scale SGD to solve very large ML problems. At their core, most of these approaches are following a map-reduce scheme. This paper presents a novel parallel updating algorithm for SGD, which utilizes the asynchronous single-sided communication paradigm. Compared to existing methods, Asynchronous Parallel Stochastic Gradient Descent (ASGD) provides faster (or at least equal) convergence, close to linear scaling and stable accuracy.

研究の動機と目的

• 従来のMapReduceベースおよび同期的SGD並列化における分散メモリシステムのスケーラビリティ制限を解消すること。
• 通信ボトル neck やロックメカニズムを排除することで、大規模な機械学習における高速かつ安定した収束を実現すること。
• 高い通信遅延を示す分散メモリクラスタに適したロックフリーで非同期通信スキームを設計すること。
• 非同期通信とミニバッチ更新が収束速度および最適化安定性に与える影響を評価すること。
• 実世界の大規模データセット（例：1TBの合成トレーニングデータ）において、線形スケーラビリティと優れた性能を示すこと。

提案手法

• GASPIプログラミングフレームワークに基づく非同期シングルサイド通信モデルを採用し、ロックを排除し、通信オーバーヘッドを低減する。
• ミニバッチ更新戦略を用い、勾配を小さなバッチ（b=500）ごとに蓄積してからグローバルモデルを更新することで、収束のロバスト性を向上させる。
• 同期ポイントを回避するため、分散ノード間で共有モデルパラメータに対して独立的かつブロッキングなしの更新を許可する。
• パルゼン窓関数を用いて「良い」メッセージを選別し、局所的更新にのみ関連する勾配寄与のみを適用することで、精度を保証する。
• 最小限の通信で早期収束を可能にするとともに、最終的な集約をMapReduceに類似したreduceステップで行い、完全な正確性を達成する。
• 通信頻度はバッチサイズbによって制御され、帯域幅が飽和しない範囲で最適なパフォーマンスが得られる。

実験結果

リサーチクエスチョン

• RQ1 非同期的かつシングルサイド通信は、同期的およびMapReduceベースのアプローチと比較して、分散SGDの収束速度とスケーラビリティを顕著に向上させ得るか？
• RQ2 ミニバッチ更新の統合は、分散環境における非同期SGDの安定性および正確性にどのように影響を与えるか？
• RQ3 ロックメカニズムの欠如が、大規模な機械学習ワークロードにおける収束および最適化誤差に及ぼす影響はどの程度か？
• RQ4 収束速度と通信オーバーヘッドのバランスを取るために、最適な通信頻度（バッチサイズbで制御）は何か？
• RQ5 提案されたASGD手法は、ベースラインSGDおよびSimuParallelSGDと比較して、正確性を維持または向上させ得るか、特に早期終了条件下でも同様か？

主な発見

• ASGDは、1TBの合成データにおいて、SimuParallelSGDおよびMapReduceベースのBATCHよりも著しく高速な収束を達成し、性能向上は桁違いのスピードアップを示す。
• 1024CPU環境において、非同期通信と同期的メソッドを上回る、線形を超えるスケーラビリティを示す。
• K-平均法の結果において、SGDと比較して最適化誤差が安定し、分散が小さいことから、より高いロバスト性を示す。
• 通信帯域幅を超えた場合、ASGDのオーバーヘッドは30％以上にまで上昇し、バッチサイズbをハードウェア制限に合わせたチューニングが重要であることを示している。
• 非同期通信を無効化（サイレントモード）すると、早期収束が著しく劣化し、非同期通信がパフォーマンス向上の主因であることが実証された。
• reduceステップによる最終集約は正確性をわずかに向上させるが、非同期手法そのものでも著しく低い遅延で競争力のある結果が得られる。