[論文レビュー] ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks

Dmitry Kovalev, Egor Shulgin+3 more|arXiv (Cornell University)|Feb 18, 2021

Sparse and Compressive Sensing Techniques参考文献 34被引用数 13

ひとこと要約

ADOM は、時間変動するネットワーク向けの加速分散最適化手法であり、双対オラクルを用いて通信複雑度を $\mathcal{O}(\chi\kappa^{1/2}\log \frac{1}{\varepsilon})$ に抑え、静的かつ完全に接続されたネットワークにおけるネステロフの加速手法のレートを達成する。最小限の仮定（ネットワークの接続性のみ）で収束を保証し、動的トポロジーに強く耐性を持つ。

ABSTRACT

We propose ADOM - an accelerated method for smooth and strongly convex decentralized optimization over time-varying networks. ADOM uses a dual oracle, i.e., we assume access to the gradient of the Fenchel conjugate of the individual loss functions. Up to a constant factor, which depends on the network structure only, its communication complexity is the same as that of accelerated Nesterov gradient method (Nesterov, 2003). To the best of our knowledge, only the algorithm of Rogozin et al. (2019) has a convergence rate with similar properties. However, their algorithm converges under the very restrictive assumption that the number of network changes can not be greater than a tiny percentage of the number of iterations. This assumption is hard to satisfy in practice, as the network topology changes usually can not be controlled. In contrast, ADOM merely requires the network to stay connected throughout time.

研究の動機と目的

• ネットワークトポロジーが動的に変化する時間変動するネットワークにおける、効率的で加速された分散最適化手法の不足を解決すること。
• ネットワーク変更回数に制限を課す仮定を必要とする先行の加速手法の限界を克服すること。
• 静的ネットワークにおける最良のレートと同等の通信複雑度を達成しつつ、動的環境でも有効であることを実現すること。
• 最小限のネットワーク構造的仮定の下で、理論的裏付けを持ち、線形収束を維持する安定なアルゴリズムを提供すること。
• ネットワーク接続が本質的に時間変動する、フェデレーテッドラーニングやモバイルエッジコンピューティングといった新興システムにおける実用的導入を可能にすること。

提案手法

• 双対オラクルを用いた一般化された投影ネステロフ勾配降下法（PNGD）に基づく、ADOM と呼ばれる加速アルゴリズムを提案する。
• 個々の損失関数のフレンケル共役関数の勾配へのアクセスを活用し、効率的な双対空間更新を可能にする。
• 分散通信を、可能に偏りのある線形圧縮作用素としてモデル化し、時間変動するトポロジー下での収束を分析する。
• ネットワーク行列 $\mathbf{W}^k$ の時間変動性とその固有値特性を考慮する、新しい分析フレームワークを導入する。
• 実用性を確保するため、勾配降下法または加速勾配降下法の数回の反復により双対勾配を近似する不正確な計算を用いる。
• ネットワークの変更が有界であるのではなく、接続性に依存することで安定性と収束性を保証し、従来の仮定を緩和する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークトポロジーの変更回数に制限を課さずに、時間変動するネットワークで最適通信複雑度を達成できる加速分散最適化手法は存在するか？
• RQ2 双対オラクルの使用は、動的通信グラフを持つ分散環境での収束速度をどのように向上させるか？
• RQ3 時間変動する状態で加速手法の線形収束を保証するために、ネットワークに必要な構造的仮定は何か？（必要十分条件）
• RQ4 高精度タスクを想定した場合、通信複雑度を維持しつつ、加速手法の収束レートを時間変動するネットワークでも保てるか？
• RQ5 条件数やネットワーク構造パラメータが変化する状況下で、ADOM は Acc-DNGD や APM と比べて実際の性能でどのように差をつけるか？

主な発見

• ADOM は通信複雑度 $\mathcal{O}(\chi\kappa^{1/2}\log \frac{1}{\varepsilon})$ を達成し、静的かつ完全に接続された場合のネステロフの加速手法のレートと一致する。
• DNM や他の先行加速手法とは異なり、ADOM はネットワークトポロジーが頻繁に変化しても、ネットワークが接続されている限り安定かつ収束を示す。
• 実験では、$\kappa \in \{10, 10^2, 10^3, 10^4\}$ のさまざまな条件数と $\chi \in \{9, 32, 134, 521\}$ のさまざまなネットワーク構造パラメータにおいて、ADOM は Mudag や Acc-DNGD、APM を上回る性能を発揮した。
• ADOM は全テストケースで信頼性高く収束するが、DNM は 8 つのケース中 7 つで発散し、ネットワーク変更回数に制限を課す仮定が制限要因であった。
• 双対勾配の近似に AGD を $T=1$ から $3$ 回の反復のみを用いることで、ほぼ最適な性能が得られ、実用的効率性を示した。
• APM は後期段階で劣線形収束を示し、通信複雑度が $\log^2 \frac{1}{\varepsilon}$ のスケーリングを示すため、高精度タスクでは ADOM よりも非効率である。