[論文レビュー] Revisiting Optimal Convergence Rate for Smooth and Non-convex Stochastic Decentralized Optimization

Kun Yuan, Xinmeng Huang+4 more|arXiv (Cornell University)|Oct 14, 2022

Advanced Wireless Communication Technologies被引用数 5

ひとこと要約

本稿は、一般の重み行列を用いた滑らかで非凸な確率的分散最適化における最適収束速度を確立し、接続性と直径のバランスを取るためにリングラティス構造を活用する。提案された新規アルゴリズムMG-DSGDは、弱い条件下でも導出された最適速度にほぼ達しており、ネットワーク接続性やノイズ依存性の観点から、先行研究の境界を改善する。

ABSTRACT

Decentralized optimization is effective to save communication in large-scale machine learning. Although numerous algorithms have been proposed with theoretical guarantees and empirical successes, the performance limits in decentralized optimization, especially the influence of network topology and its associated weight matrix on the optimal convergence rate, have not been fully understood. While (Lu and Sa, 2021) have recently provided an optimal rate for non-convex stochastic decentralized optimization with weight matrices defined over linear graphs, the optimal rate with general weight matrices remains unclear. This paper revisits non-convex stochastic decentralized optimization and establishes an optimal convergence rate with general weight matrices. In addition, we also establish the optimal rate when non-convex loss functions further satisfy the Polyak-Lojasiewicz (PL) condition. Following existing lines of analysis in literature cannot achieve these results. Instead, we leverage the Ring-Lattice graph to admit general weight matrices while maintaining the optimal relation between the graph diameter and weight matrix connectivity. Lastly, we develop a new decentralized algorithm to nearly attain the above two optimal rates under additional mild conditions.

研究の動機と目的

• 非凸な確率的分散最適化の理論的性能限界を明確化すること、特にネットワークトポロジーと重み行列の接続性が及ぼす影響を特定すること。
• 一般の重み行列に対する最適収束速度の理解のギャップを埋めること。先行研究では、特定の$β$値を持つ線形グラフに限定されていた。
• 一般の重み行列下で、導出された最適収束速度にほぼ達する新しい分散アルゴリズムを開発すること。
• ポリアック＝ロジャシェヴィッチ（PL）条件の下でタイトな収束境界を確立し、非凸設定における既存の結果を改善すること。

提案手法

• 著者らは、グラフの直径と重み行列の接続性の間で良好なトレードオフを実現するため、リングラティス構造を導入する。
• 収束速度の下界を$n$、$T$、$σ^2$、$β$に依存する形で導出し、対数要因を除いてタイトであることを示す。
• モーメンタムと勾配蓄積を組み込んだ新規アルゴリズムMG-DSGDを提案し、PL条件下での収束を改善する。
• 標準的なノイズ項と接続性項の代わりに、アルゴリズムダイナミクスにおける有効ノイズ$\tilde{\sigma}^2$と有効接続性$\tilde{\beta}$を精緻化した量に置き換える。
• モーメンタム、分散、ネットワーク接続性の相乗作用を考慮した修正された分析フレームワークを用いて理論的収束境界を導出する。
• アルゴリズムの収束が$T$、$n$、$\sigma^2$、$\beta$に関して下界と一致し、$L$および$\mu$の依存性においてわずかな差異を除いて、最適性を達成していることを示す。

実験結果

リサーチクエスチョン

• RQ1 一般の重み行列を用いた滑らかで非凸な確率的分散最適化における最適収束速度は何か？
• RQ2 ネットワーク接続性の指標$\beta$は、分散確率的最適化における収束速度にどのように影響するか？
• RQ3 一般の重み行列下で、分散アルゴリズムが導出された最適収束速度にほぼ達することができるか？
• RQ4 ポリアック＝ロジャシェヴィッチ（PL）条件は、分散非凸設定における収束速度にどのように影響するか？
• RQ5 モーメンタムと勾配蓄積は、分散非凸最適化における収束にどのように影響するか？

主な発見

• 本稿は、非凸な確率的分散最適化に対して、$\Omega\left(\frac{\sigma}{\sqrt{nT}} + \frac{1}{T(1-\beta)^{1/2}}\right)$の下界を確立し、対数要因を除いてタイトであることを示した。
• PL条件下では、上界が$\tilde{\mathcal{O}}\left(\frac{\sigma^2 L}{\mu^2 n T} + \Delta \exp\left(-\frac{\mu \sqrt{1-\beta} T}{L}\right)\right)$となり、$T$、$n$、$\sigma^2$、$\beta$に関して下界と一致する。
• 提案されたMG-DSGDアルゴリズムは、最適速度にほぼ達しており、収束境界は$\tilde{\mathcal{O}}\left(\frac{\sigma^2 L}{\mu^2 n T} + \Delta \exp\left(-\frac{\mu \sqrt{1-\beta} T}{L}\right)\right)$である。
• 分析により、有効ノイズ$\tilde{\sigma}^2$と有効接続性$\tilde{\beta}$が、特にモーメンタムを用いる場合にタイトな収束速度を達成する上で鍵となることが示された。
• 実験結果では、CIFAR-10およびImageNetにおいて、MG-DSGDはDeTAGやDSGTといったベースラインよりもわずかに高い検証精度を達成しており、特にデータの非定常性が高い状況で顕著である。
• 勾配蓄積は、ラウンド数が増加するにつれて性能の劣化を引き起こすことが示され、最適化速度と一般化性能の間のトレードオフが存在することが示唆された。