[論文レビュー] Asynchronous parallel adaptive stochastic gradient methods

Yangyang Xu, Colin Sutcher-Shepard+2 more|arXiv (Cornell University)|Feb 21, 2020

Stochastic Gradient Optimization Techniques参考文献 20被引用数 2

ひとこと要約

本稿では、AMSGradに基づく非同期並列適応的勾配降下法を提案し、収束保証を維持しながら、非同期性を活用することでディープラーニングモデルの学習を高速化することを目的としている。遅延が最適でない条件下でほぼ線形のスループット向上を実現し、凸および非凸設定において同期型の手法を上回る性能を示す。

ABSTRACT

Stochastic gradient methods (SGMs) are the predominant approaches to train deep learning models. The adaptive versions (e.g., Adam and AMSGrad) have been extensively used in practice, partly because they achieve faster convergence than the non-adaptive versions while incurring little overhead. On the other hand, asynchronous (async) parallel computing has exhibited much better speed-up over its synchronous (sync) counterpart. However, async-parallel implementation has only been demonstrated to the non-adaptive SGMs. The difficulty for adaptive SGMs originates from the second moment term that makes the convergence analysis challenging with async updates. In this paper, we propose an async-parallel adaptive SGM based on AMSGrad. We show that the proposed method inherits the convergence guarantee of AMSGrad for both convex and non-convex problems, if the staleness (also called delay) caused by asynchrony is bounded. Our convergence rate results indicate a nearly linear parallelization speed-up if $ au=o(K^{\frac{1}{4}})$, where $ au$ is the staleness and $K$ is the number of iterations. The proposed method is tested on both convex and non-convex machine learning problems, and the numerical results demonstrate its clear advantages over the sync counterpart.

研究の動機と目的

• 従来、2次モーメント項の課題により収束保証が欠けていた適応的勾配降下法に、非同期並列処理を拡張すること。
• 特に遅延した勾配更新の影響により、非同期における適応的手法の収束解析が困難であるという問題に取り組むこと。
• AMSGradの高速収束特性を維持しつつ、非同期性による効率的な分散学習を可能にする手法を設計すること。
• 有界な遅延のもとで、凸問題および非凸問題の両方に対して理論的収束レートを確立すること。

提案手法

• 独立したワーカーからの遅延勾配を処理できるように更新ルールを変更した、AMSGradアルゴリズムの非同期並列版を提案する。
• 収束への影響を制御するため、有界な遅延仮定（τ = o(K^{1/4})）を導入する。
• 指数移動平均を用いて勾配の2次モーメントを追跡することで、AMSGradの適応的学習率メカニズムを維持する。
• 同期化バリアが存在しない分散型パラメータサーバー・アーキテクチャを採用し、ワーカーが非同期に共有パラメータを更新する。
• 適応的手法における遅延勾配がもたらす分散を考慮した、修正された収束解析フレームワークを採用する。
• 有界な遅延のもとで、凸および非凸の両目的関数に対して収束を証明し、AMSGradの理論的保証を非同期設定へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 適応的勾配降下法（AMSGradなど）に非同期並列処理を適用しても、収束保証を失わずに成功させることが可能か？
• RQ2 非同期設定における勾配の遅延が、適応的手法の収束に及ぼす理論的影響は何か？
• RQ3 提案手法は実際の応用においてほぼ線形のスループット向上を達成するか？ その条件は何か？
• RQ4 凸および非凸最適化問題において、非同期適応的手法の性能は同期型の手法と比べてどのように異なるか？
• RQ5 収束と効率的な並列処理を保証するには、遅延（τ）と反復回数（K）の間にどのような関係が必要か？

主な発見

• 提案手法である非同期AMSGradは、遅延τがτ = o(K^{1/4})を満たす限り、ほぼ線形の並列化スループット向上を達成する。
• 有界な遅延のもとで、凸および非凸問題の両方において、標準AMSGradと同等の収束レートを維持する。
• 凸および非凸の機械学習問題に対する数値実験により、非同期手法が同期型の手法を学習速度および収束効率の両面で上回ることが確認された。
• 理論的解析により、非同期における適応的手法の収束を確立し、分散環境への適応的手法の拡張における主要な課題を解決した。
• 非同期性によるスケーラブルかつ分散型の学習を可能にしつつ、AMSGradの高速収束特性をそのままで継承した。