[論文レビュー] Accelerated Decentralized Optimization with Local Updates for Smooth and Strongly Convex Objectives

Hadrien Hendrikx, Francis Bach+1 more|arXiv (Cornell University)|Oct 5, 2018

Distributed Control Multi-Agent Systems参考文献 7被引用数 17

ひとこと要約

本稿では、局所的な同期とエッジベースの更新を用いる、滑らかで強く凸な関数向けの分散型高速化最適化アルゴリズムESDACDを提案する。同期的最適アルゴリズムSSDAに匹敵する収束速度を達成すると同時に非同期実行を可能にし、特に非均質ネットワークにおいて、gossip設定における誤差の2次モーメントの収束が保証的に改善される。

ABSTRACT

In this paper, we study the problem of minimizing a sum of smooth and strongly convex functions split over the nodes of a network in a decentralized fashion. We propose the algorithm $ESDACD$, a decentralized accelerated algorithm that only requires local synchrony. Its rate depends on the condition number $κ$ of the local functions as well as the network topology and delays. Under mild assumptions on the topology of the graph, $ESDACD$ takes a time $O((τ_{\max} + Δ_{\max})\sqrt{κ/γ}\ln(ε^{-1}))$ to reach a precision $ε$ where $γ$ is the spectral gap of the graph, $τ_{\max}$ the maximum communication delay and $Δ_{\max}$ the maximum computation time. Therefore, it matches the rate of $SSDA$, which is optimal when $τ_{\max} = Ω\left(Δ_{\max} ight)$. Applying $ESDACD$ to quadratic local functions leads to an accelerated randomized gossip algorithm of rate $O( \sqrt{θ_{ m gossip}/n})$ where $θ_{ m gossip}$ is the rate of the standard randomized gossip. To the best of our knowledge, it is the first asynchronous gossip algorithm with a provably improved rate of convergence of the second moment of the error. We illustrate these results with experiments in idealized settings.

研究の動機と目的

• 同期的最適手法に匹敵する高速な収束速度を達成する分散型最適化アルゴリズムを設計すること。ただし、グローバルな同期ではなく局所的な同期のみを要件とする。
• 大規模な分散学習において、通信のボトル neck や単一障害点といった集中型アーキテクチャの限界を克服すること。
• ノードの能力の非均一性や異なる局所的条件数を有する分散環境における収束速度の向上を図ること。
• 誤差の2次モーメントの観点で、標準的な確率的gossipよりも収束速度が保証的に優れる非同期gossipアルゴリズムを開発すること。
• 局所的なパラメータチューニングとエッジ固有の更新が、収束保証を損なわずに非均質ネットワークにおける性能を向上させることを示すこと。

提案手法

• ESDACDは、加速された双対座標降下法に基づき、エッジのサンプリングを用いて隣接ノードを非同期に更新する。
• アルゴリズムはエッジ上で確率的gossip機構を用いて、局所的勾配更新とグローバルな収縮ステップを実行する。
• 局所的な滑らかさと通信遅延に適応するエッジ固有のステップサイズと重みを導入する。
• Nesterov風の加速を双対定式化で活用し、より速い収束を達成する。
• ノードごとにサンプリングされた順序に従って更新が行われるため、グローバルな調整を必要とせず、局所的な同期を保証する。
• 本アルゴリズムは、一般の滑らかで強く凸な最適化問題および分散平均一致問題の両方へ適用可能である。

実験結果

リサーチクエスチョン

• RQ1 分散型最適化アルゴリズムが、SSDAのような最適な同期的手法に匹敵する収束速度を達成しつつ、グローバルな同期ではなく局所的な同期のみを要件とすることができるか？
• RQ2 局所的更新とエッジ固有パrameterを有する非同期gossipアルゴリズムが、誤差の2次モーメントの観点で標準的な確率的gossipを上回る性能を示せるか？
• RQ3 異なる局所的条件数と計算遅延を有する非均質ネットワークにおいて、ESDACDはどのように性能を発揮するか？
• RQ4 ESDACDにおける局所的パラメータチューニングは、非一様な環境において収束速度を適応的に向上させることができるか？
• RQ5 通信遅延と計算時間の影響が、分散型高速化アルゴリズムの収束速度にどのように及ぶか？

主な発見

• ESDACDは、やや緩いグラフ仮定のもとで、$ O((\tau_{\max}+\Delta_{\max})\sqrt{\kappa/\gamma}\ln(\epsilon^{-1})) $ の収束速度を達成し、SSDAの最適なレートと一致する。
• 均質な設定では、ESDACDは1イテレーションあたりSSDAの約2倍の遅さであるが、勾配計算を2分の1、グリッドグラフではメッセージ送信回数を8分の1に削減している。
• 局所的条件数が変動する非均質な設定では、SSDAよりも使用勾配数を半分に抑えながらも、最終誤差が著しく低くなる。
• 分散平均一致問題に対しては、ESDACDは誤差の2次モーメントの収束速度が保証的に向上する非同期gossipアルゴリズムとして初めての実装を達成した。
• 滑らかさと計算速度の局所的変動にうまく適応し、ノード能力の分散が大きい状況でもSSDAを上回る性能を示した。
• 実験的結果では、ESDACDはSSDAが1イテレーションを完了する時間に2イテレーションを完了しており、非均質環境における計算効率の優位性が示された。