[論文レビュー] Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization

Huan Li, Zhouchen Lin|arXiv (Cornell University)|Apr 6, 2021

Distributed Control Multi-Agent Systems参考文献 65被引用数 13

ひとこと要約

本稿は、時間変動するグラフ上での分散最適化のための加速勾配トラッキング（Acc-GT）を提案する。これは、従来の静的グラフに限定された加速勾配トラッキングフレームワークを動的ネットワークへ拡張したものであり、非強凸問題では $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^2\sqrt{\frac{L}{\epsilon}}\right)$、強凸問題では $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^{1.5}\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right)$ の最適収束レートを達成し、ネットワークが静的である場合、古典的な集中型加速勾配降下法の境界と一致する。

ABSTRACT

Decentralized optimization over time-varying graphs has been increasingly common in modern machine learning with massive data stored on millions of mobile devices, such as in federated learning. This paper revisits the widely used accelerated gradient tracking and extends it to time-varying graphs. We prove that the practical single loop accelerated gradient tracking needs $O((\fracγ{1-σ_γ})^2\sqrt{\frac{L}ε})$ and $O((\fracγ{1-σ_γ})^{1.5}\sqrt{\frac{L}μ}\log\frac{1}ε)$ iterations to reach an $ε$-optimal solution over time-varying graphs when the problems are nonstrongly convex and strongly convex, respectively, where $γ$ and $σ_γ$ are two common constants charactering the network connectivity, $L$ and $μ$ are the smoothness and strong convexity constants, respectively, and one iteration corresponds to one gradient oracle call and one communication round. Our convergence rates improve significantly over the ones of $O(\frac{1}{ε^{5/7}})$ and $O((\frac{L}μ)^{5/7}\frac{1}{(1-σ)^{1.5}}\log\frac{1}ε)$, respectively, which were proved in the original literature of accelerated gradient tracking only for static graphs, where $\fracγ{1-σ_γ}$ equals $\frac{1}{1-σ}$ when the network is time-invariant. When combining with a multiple consensus subroutine, the dependence on the network connectivity constants can be further improved to $O(1)$ and $O(\fracγ{1-σ_γ})$ for the gradient oracle and communication round complexities, respectively. When the network is static, by employing the Chebyshev acceleration, our complexities exactly match the lower bounds without hiding any poly-logarithmic factor for both nonstrongly convex and strongly convex problems.

研究の動機と目的

• 時間変動するグラフにおける加速分散最適化手法の不足に応えること、特に動的デバイス接続性を示すフェデレーテッドラーニング環境を想定する。
• 従来静的グラフでのみ解析がなされた加速勾配トラッキングフレームワークを、時間変動するネットワークトポロジーへ拡張すること。
• 集中型加速勾配降下法の下界と一致する収束複雑度を達成すること、特に精度 $\epsilon$ および条件数 $L/\mu$ への依存性を含む。
• 複数のコンSENSUSサブルーチンとチェビシェフ加速を組み合わせることで、通信および計算効率を向上させること。

提案手法

• ネットワーク接続性を時間変動する定数 $\gamma$ および $\sigma_{\gamma}$ でモデル化することで、加速勾配トラッキングアルゴリズムを時間変動グラフへ拡張する。
• 動的ネットワーク状態下でも収束保証を維持できる単一ループ実装の加速勾配トラッキングを導入する。
• 勾配トラッキングを用いてエージェント間でグローバル勾配方向の平均値を推定し、ネットワーク変化に対しても整合性を保つ。
• 複数のコンセンサスサブルーチンを用いることで、ネットワーク接続性定数への依存を分離し、通信複雑度を改善する。
• チェビシェフ加速を適用することで、静的グラフにおける既知の下界と一致するタイトな収束境界を達成する。
• リャプノフ関数を用いた収束解析により、滑らかさおよび凸性の仮定の下で目的関数誤差およびコンセンサス誤差の境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 加速勾配トラッキングは、時間変動するグラフに効果的に拡張可能であり、最適な収束レートを維持できるか？
• RQ2 動的状況下で収束複雑度がネットワーク接続性パラメータ $\gamma$ および $\sigma_{\gamma}$ に依存する最適な関係は何か？
• RQ3 ネットワークが静的である場合、集中型加速勾配降下法の下界と一致する収束レートを達成できるか？
• RQ4 複数のコンセンサスサブルーチンの使用は、時間変動するグラフにおけるネットワーク接続性への依存性にどのように影響するか？
• RQ5 チェビシェフ加速により、非強凸および強凸問題の両方において既知の下界に一致する収束性能を達成できるか？

主な発見

• 提案されたAcc-GTは、非強凸問題に対して $\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^2\sqrt{\frac{L}{\epsilon}}\right)$ の複雑度を達成し、静的グラフにおける先行研究の $\mathcal{O}\left(\frac{1}{\epsilon^{5/7}}\right)$ の境界よりも顕著に改善されている。
• 強凸問題では、$\mathcal{O}\left(\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)^{1.5}\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right)$ の複雑度を達成し、先行研究の $\mathcal{O}\left(\left(\frac{L}{\mu}\right)^{5/7}\frac{1}{(1-\sigma)^{1.5}}\log\frac{1}{\epsilon}\right)$ の境界を改善している。
• 複数のコンセンサスサブルーチンを組み合わせることで、計算複雑度は $\mathcal{O}(1)$ に、通信複雑度は $\mathcal{O}\left(\frac{\gamma}{1-\sigma_{\gamma}}\right)$ に低下し、ネットワーク接続性への依存が軽減された。
• 静的ネットワークでは、チェビシェフ加速により、非強凸および強凸両ケースにおいて、隠れた多項式対数因子を含まずに既知の下界に一致する。
• 実験では、隣接ノード数 $d$ を2から20に増加させても目的関数誤差の低下速度にほとんど影響がなかったが、コンセンサス誤差は $d=20$ でより速く減少しており、より良いコンセンサスダイナミクスが得られていることが示唆された。
• 理論的解析から、コンセンサス誤差の減少速度が証明においてタイトに境界づけられていないことが確認され、より緊密な収束解析の余地があることが示唆された。