[論文レビュー] AdaDelay: Delay Adaptive Distributed Stochastic Convex Optimization

Suvrit Sra, Adams Wei Yu+2 more|arXiv (Cornell University)|Aug 20, 2015

Stochastic Gradient Optimization Techniques参考文献 13被引用数 20

ひとこと要約

AdaDelayは、最悪ケースの上限値ではなく実際の観測遅延を用いてステップサイズを調整する遅延適応型非同期確率的勾配降下法を提案する。これにより、分散学習における初期収束速度が向上し、テスト精度が向上する。Criteo や CTR2 といった大規模データセットにおいて、特に遅延が著しく生じるスレッダー要因が強い状況下でも、最先端の性能を達成し、メモリオーバーヘッドは最小限で、ほぼ線形のスルーレート向上が実現される。

ABSTRACT

We study distributed stochastic convex optimization under the delayed gradient model where the server nodes perform parameter updates, while the worker nodes compute stochastic gradients. We discuss, analyze, and experiment with a setup motivated by the behavior of real-world distributed computation networks, where the machines are differently slow at different time. Therefore, we allow the parameter updates to be sensitive to the actual delays experienced, rather than to worst-case bounds on the maximum delay. This sensitivity leads to larger stepsizes, that can help gain rapid initial convergence without having to wait too long for slower machines, while maintaining the same asymptotic complexity. We obtain encouraging improvements to overall convergence for distributed experiments on real datasets with up to billions of examples and features.

研究の動機と目的

• 分散確率的最適化における最悪ケース遅延上限の制限を解消すること。これは、実世界のクラウド環境では過剰に悲観的になりがちな場合がある。
• 計算中に実際に経験する可変的な遅延に適応する非同期SGDアルゴリズムを設計すること。上界の仮定に依存するのではなく、実際の遅延に基づく。
• スレッダーと異種のワーカー性能が存在する大規模機械学習システムにおける収束速度とテスト精度の向上を図ること。
• 遅延に敏感な適応により、理論的最適性を維持しながら初期ステップサイズを大きくすること。
• 10億例以上の実世界データセットを用いて実験を行い、生産環境に近い設定での実用的利点を示すこと。

提案手法

• AdaDelayは、各勾配更新の実際の遅延に基づいてステップサイズを逆数にスケーリングするサーバーサイドの更新を用いる。固定値や最悪ケースの遅延上限値ではなく、実際の遅延を用いる。
• 遅延適応型ステップサイズルールを採用し、遅いワーカーからの陳腐化した勾配に対して有効な学習率を高め、バイアスを低減し、収束を加速する。
• 各ワーカーの遅延を軽量なメカニズムで追跡することで、実時間での適応が可能であり、計算コストやメモリコストは顕著に増加しない。
• 遅延に敏感な勾配集約を統合し、AdaGradなどの適応的メソッドの利点と非同期更新の利点を両立する。
• 2つの現実的な遅延モデルを想定して分析する：有界（一様）遅延と、一階および二階のモーメントが有限だが、サポートが無限大であるスケーリング遅延。
• 理論的分析により、ステップサイズが遅延の変動により非単調であっても、両モデル下で最適な収束レートが保証されることを示した。

実験結果

リサーチクエスチョン

• RQ1 最悪ケースの遅延上限値ではなく、実際の観測遅延を用いることで、分散確率的凸最適化における収束速度が向上するか？
• RQ2 遅延適応型ステップサイズ選択は、スレッダーが存在する大規模機械学習システムにおけるテスト精度と一般化性能にどのように影響するか？
• RQ3 遅延に敏感な勾配集約は、パラメータサーバー架構成におけるシステムスケーラビリティとメモリ効率にどのような影響を与えるか？
• RQ4 AdaDelayは、実世界のデータセットにおいて、AsyncAdaGrad や AdaptiveRevision と比較して収束速度とモデル品質の点で優れているか？
• RQ5 遅延適応型手法は、異種で現実的なクラウド環境において、理論的最適性を維持しながら実用的性能を向上させることができるか？

主な発見

• 400台以上のワーカーを用いた場合、Criteo および CTR2 データセットにおいて、AdaDelayはテストAUCを大幅に向上させ、高遅延環境下でも AsyncAdaGrad を上回る性能を示した。
• ワーカーの半分を1倍または4倍遅くすることでスレッダーを導入した状況でも、AdaDelayは一貫して AsyncAdaGrad を上回った。これは、遅延適応型ステップサイズの利点を裏付けている。
• 1台から16台のマシン（各マシンで100名のワーカーを稼働）にわたり、効率的な非同期更新と同期オーバーヘッドの低減により、ほぼ線形のスルーレート向上を達成した。
• AdaDelayのメモリ使用量は、AsyncAdaGrad とほぼ同等（Criteoで24GB、CTR2で97GB）であり、一方、AdaptiveRevision は遅延勾配と特徴レベルの追跡のための追加ストレージにより、メモリ使用量が2倍になった。
• 変動する遅延の下でも、収束に悪影響を及げることなく、初期ステップサイズをより大きく設定可能であり、変動遅延が生じる状況下での初期学習段階の進行を加速できた。
• 実験結果により、実クラスタにおける実際の遅延分布がモデル仮定とよく一致していることが確認され、遅延適応型手法の実用性が裏付けられた。