[論文レビュー] More Iterations per Second, Same Quality -- Why Asynchronous Algorithms may Drastically Outperform Traditional Ones

Robert Hannah, Wotao Yin|arXiv (Cornell University)|Aug 17, 2017

Stochastic Gradient Optimization Techniques参考文献 1被引用数 9

ひとこと要約

この論文は、ARock などの非同期並列アルゴリズムが、収束品質にほとんど損なわれることなく、1 秒あたりの反復回数を著しく増やせるため、大規模最適化において従来の同期アルゴリズムを著しく上回ることを示している。主な結果は、古くなった情報を使用しても、非同期手法が同期手法と同様に漸近的に同じ反復複雑度を維持することであり、これはスケールが大きくなると顕著な高速化をもたらす。

ABSTRACT

In this paper, we consider the convergence of a very general asynchronous-parallel algorithm called ARock, that takes many well-known asynchronous algorithms as special cases (gradient descent, proximal gradient, Douglas Rachford, ADMM, etc.). In asynchronous-parallel algorithms, the computing nodes simply use the most recent information that they have access to, instead of waiting for a full update from all nodes in the system. This means that nodes do not have to waste time waiting for information, which can be a major bottleneck, especially in distributed systems. When the system has $p$ nodes, asynchronous algorithms may complete $Θ(\ln(p))$ more iterations than synchronous algorithms in a given time period ("more iterations per second"). Although asynchronous algorithms may compute more iterations per second, there is error associated with using outdated information. How many more iterations in total are needed to compensate for this error is still an open question. The main results of this paper aim to answer this question. We prove, loosely, that as the size of the problem becomes large, the number of additional iterations that asynchronous algorithms need becomes negligible compared to the total number ("same quality" of the iterations). Taking these facts together, our results provide solid evidence of the potential of asynchronous algorithms to vastly speed up certain distributed computations.

研究の動機と目的

• 非同期並列アルゴリズムが大規模分散最適化において同期手法を上回れる理論的根拠を提示すること。
• 古くなった情報による収束の劣化と、1 秒あたりの反復回数の増加とのトレードオフを分析すること。
• 無限大に達する遅延のもとでも、非同期 ARock の反復複雑度が同期手法と漸近的に同等であることを証明すること。
• 大規模問題において、反復スループットの向上が古くなったデータによるペナルティを上回ることを示すこと。
• ARock フレームワークの一般性を活かして、広範な最適化アルゴリズムクラスにわたる結果を一般化すること。

提案手法

• 勾配降下、近位勾配、ADMM などに適用可能な一般化された非同期並列固定点反復フレームワークである ARock アルゴリズムを分析する。
• リプシッツ定数 $ r < 1 $ の収縮作用素を用いてシステムをモデル化し、線形収束を保証する。
• 収束を制御するため、反復回数と問題パラメータに応じて適応するステップサイズ関数 $ h_1(j) $ と $ h_2(j) $ を導入する。
• Lyapunov 関数のアプローチを用いて、古くなった情報による誤差伝播を $ \epsilon_i = m^{1/2}\gamma^i $ および $ \delta_i = 2m^{1/2}\gamma^i $ を用いてバインドする。
• 非同期状態での各反復の進捗を定量化する関数 $ R(\eta^k, h_2(j(k))) $ を用いて収束レートの上限を導出する。
• 漸近的解析を適用し、反復複雑度が $ \mathcal{O}(\frac{1}{1-r^2} \ln(1/\epsilon)) $ であることを示し、遅延に依存しない（低次の項を除いて）。

実験結果

リサーチクエスチョン

• RQ1 大規模システムにおいて、非同期アルゴリズムは同期アルゴリズムよりも著しく多くの反復を 1 秒あたりに行えるか？
• RQ2 非同期アルゴリズムにおける古くなった情報の使用が、収束に必要な反復回数を著しく増加させるか？
• RQ3 無限大の遅延のもとでも、非同期 ARock の反復複雑度は同期版と漸近的に同等か？
• RQ4 非同期手法の高い反復スループットが、古くなったデータによる収束の遅れを補って余りあるか？
• RQ5 非同期の理論的性能優位性は、広範な最適化アルゴリズムクラスに一般化可能か？

主な発見

• 処理ノード数 $ p $ を使用する場合、非同期アルゴリズムは同期アルゴリズムに比べて $ \Theta(\ln p) $ 倍の反復を 1 秒あたり達成できる。
• 古くなった情報を使用しても、ARock の反復複雑度は、無限大の遅延のもとでも同期バージョンと漸近的に同じままである。
• ARock の収束レートは $ 1 - \frac{1}{m}(1 - r^2) \left(1 - \mathcal{O}(m^{q - 1/2}) \right) $ であり、問題パラメータに依存する線形収束レートを示している。
• 反復複雑度は $ \mathcal{O}\left( \frac{1}{1 - r^2} \ln(1/\epsilon) \right) $ であり、遅延に依存せず、同期ケースと低次の項を除いて同一である。
• 問題サイズが大きくなると古くなったデータからの誤差が無視できるほど小さくなるため、漸近的収束レートが保持される。
• 理論的分析により、反復スループットの向上が古くなった情報による劣化を上回ることを確認し、大規模設定での顕著な高速化を実現できる。