[論文レビュー] Advances in Asynchronous Parallel and Distributed Optimization

Mahmoud Assran, Arda Aytekin+3 more|arXiv (Cornell University)|Jun 24, 2020

Stochastic Gradient Optimization Techniques参考文献 87被引用数 8

ひとこと要約

本稿は、大規模な機械学習のための非同期並列および分散最適化の理論と実践を前進させ、上限付き遅延に耐えうる分散型および集中型の手法を提案し、壁時計時間において同期型の手法を上回る性能を発揮することを示している。非同期分散型手法（例：OSGP）が同期のボトル neck を排除することで、特にワーカー数が多くなったりネットワーク遅延が高くなったりする状況でも、収束が速くなることが実証された。

ABSTRACT

Motivated by large-scale optimization problems arising in the context of machine learning, there have been several advances in the study of asynchronous parallel and distributed optimization methods during the past decade. Asynchronous methods do not require all processors to maintain a consistent view of the optimization variables. Consequently, they generally can make more efficient use of computational resources than synchronous methods, and they are not sensitive to issues like stragglers (i.e., slow nodes) and unreliable communication links. Mathematical modeling of asynchronous methods involves proper accounting of information delays, which makes their analysis challenging. This article reviews recent developments in the design and analysis of asynchronous optimization methods, covering both centralized methods, where all processors update a master copy of the optimization variables, and decentralized methods, where each processor maintains a local copy of the variables. The analysis provides insights as to how the degree of asynchrony impacts convergence rates, especially in stochastic optimization methods.

研究の動機と目的

• ストレージラー効果や通信ボトル neck による同期型手法の非効率性を是正すること。
• 上限付きの情報遅延に耐えうる非同期最適化アルゴリズムの開発と収束性の分析。
• 壁時計時間とスケーリングの観点から、非同期分散型手法（例：OSGP）と同期型手法（例：AllReduce SGD）の性能を比較すること。
• とくに確率的最適化設定における非同期性が収束速度に与える影響を調査すること。
• 上限付き遅延と通信グラフが収束に与える影響に関する理論的知見を提供するとともに、非線形更新における未解決の課題を特定すること。

提案手法

• 各プロセッサが変数のローカルコピーを保持し、グローバルな同期なしに非同期に更新する非同期分散型最適化フレームワークを提案する。
• 非同期性を形式化するための上限付き遅延モデルを用い、情報遅延が有限かつ既知であると仮定することで収束解析を可能にする。
• 局所的勾配更新とコンSENSUSに基づく平均化を用いる分散型非同期手法として、OSGP（Optimistic Stochastic Gradient Push）アルゴリズムを導入する。
• 部分的な非同期性下での収束を分析し、上限付き遅延が有限時間内に目標精度に収束させられることを示す。
• グローバルな同期を必要としない、遅延はあるが上限付きの情報モデルを通じて最適化変数の一貫したビューを維持する。
• 実験的に、最大32ワーカー（256 GPU）を用いたResNet-50の学習で、壁時計時間とイテレーション効率を比較して手法を検証した。

実験結果

リサーチクエスチョン

• RQ1 上限付き非同期性は、確率的設定における分散型最適化アルゴリズムの収束速度にどのように影響するか？
• RQ2 OSGP などの非同期分散型手法は、AllReduce SGD などの同期型手法よりも、壁時計時間でより速く収束することができるか？
• RQ3 分散学習における通信オーバーヘッドと同期コストは、ワーカー数の増加に伴いどのようにスケーリングするか？
• RQ4 既存の収束解析は、分散環境における非線形勾配ベースの更新に適用する際に、どのような限界を有するか？
• RQ5 NUMAアーキテクチャやメモリ競合といったハードウェア固有の特性は、非同期最適化アルゴリズムの性能にどのように影響するか？

主な発見

• OSGP は、同期型手法（AllReduce SGD）と比較して、特にワーカー数が増加するにつれて、同期のオーバーヘッドを排除することで、著しく短い壁時計時間での学習を達成した。
• OSGP と SGP のイテレーションあたりの時間は、ワーカー数の増加に関わらずほぼ一定であるのに対し、AllReduce SGD の時間は通信コストの増加に伴い増加した。
• ImageNet でのResNet-50の学習において、OSGP はイテレーションごとの収束速度が遅くても、壁時計時間での収束が AllReduce SGD よりも速かった。
• 同期型手法よりも優れたスケーリング特性を示し、4から32ワーカー（128から256 GPU）にスケーリングする際も一貫した性能向上を示した。
• 実験結果から、OSGP はワーカー間で安定した学習損失と低い分散を維持しており、非同期性や通信遅延に対して頑健であることが示された。
• 理論的解析により、非同期更新における上限付き遅延が有限時間収束を可能にすることが確認され、実世界のシステムへの実用的導入の基盤が得られた。