[論文レビュー] Multi-consensus Decentralized Accelerated Gradient Descent

Haishan Ye, Luo Luo+2 more|arXiv (Cornell University)|May 2, 2020

Distributed Control Multi-Agent Systems参考文献 33被引用数 33

ひとこと要約

この論文は、2つの分散型加速近接勾配法 ProxMudag および Mudag を導入し、(ほぼ)最適な計算および通信の複雑性を達成する。これらはグローバルな条件数に依存し、局所関数が非凸でも許容する。

ABSTRACT

This paper considers the decentralized convex optimization problem, which has a wide range of applications in large-scale machine learning, sensor networks, and control theory. We propose novel algorithms that achieve optimal computation complexity and near optimal communication complexity. Our theoretical results give affirmative answers to the open problem on whether there exists an algorithm that can achieve a communication complexity (nearly) matching the lower bound depending on the global condition number instead of the local one. Furthermore, the linear convergence of our algorithms only depends on the strong convexity of global objective and it does \emph{not} require the local functions to be convex. The design of our methods relies on a novel integration of well-known techniques including Nesterov's acceleration, multi-consensus and gradient-tracking. Empirical studies show the outperformance of our methods for machine learning applications.

研究の動機と目的

• エージェント間で局所関数を結合するグローバル目的を持つ分散型凸最適化問題に対処する。
• グローバルな条件数に依存する(ほぼ)最適な通信の複雑性を達成するアルゴリズムを開発する。
• グローバルで強凸性を満たす場合には線形収束を維持しつつ、局所関数の凸性要件を緩和する。
• マルチコンセンサス、勾配追跡、そしてネステロフ加速を取り入れ、集中化された加速勾配法を近似する。
• 機械学習タスクで既存手法を上回る実証的証拠を提供する。

提案手法

• 非微分可能な正則化項 r(x) を含む複合目的関数に対して ProxMudag を提案する。近接更新、マルチコンセンサス、勾配追跡を加速と組み合わせる。
• スムーズな目的関数（r(x)=0）に対して Mudag を提案する。集中化された加速勾配降下法を模倣するために二段階のマルチコンセンサスと勾配追跡を用いる。
• FastMix を効率的な平均化演算子として用いてマルチコンセンサスを実装し、エージェント間のコンセンサスを保証する。
• リヤノフ関数を用いて収束を解析し、平均化された列が近接-加速勾配力学に従うことを示す。
• 計算複雑性を O(√kappa_g log(1/ε))、ほぼ最適な通信複雑性を O(√(kappa_g/(1−λ2(W))) log(M kappa_g / L) log(1/ε)) と導出する。
• 局所条件数ではなく、グローバル条件数 kappa_g = L/μ に依存する反復回数と通信の境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 分散最適化は局所 κ_ℓ ではなくグローバル条件数 κ_g に依存するほぼ最適な通信複雑性を達成できるのか？
• RQ2 各局所関数 f_i が凸であることを要求せず、分散型複合目的関数に対して線形収束を達成できるのか？
• RQ3 マルチコンセンサスと勾配追跡を組み合わせた加速近似勾配戦略は、分散設定で集中化された加速法を十分に近似するのか？
• RQ4 滑らかさと強凸性の仮定の下で、提案された二つのアルゴリズム ProxMudag と Mudag の計算および通信の複雑性のトレードオフは何か？

主な発見

Methods	Computation	Communication	Is f_i convex?
Mudag	O(√κ_g log(1/ε))	Ō(√(κ_g/(1−λ2(W))) log(Mκ_g/L) log(1/ε))	No
Lower Bound (Scaman et al., 2017)	Ω(√κ_g log(1/ε))	Ω(√(κ_g/(1−λ2(W))) log(1/ε))	N/A

• Mudag は計算複雑性 O(√κ_g log(1/ε)) およびほぼ最適な通信複雑性 O(√(κ_g/(1−λ2(W))) log(Mκ_g/L) log(1/ε)) を達成する。
• ProxMudag は凸だが非微分可能な r(x) に対して最適な計算とほぼ最適な通信の複雑性を達成する。
• これらのアルゴリズムはグローバル条件数 κ_g に依存し、局所条件数には依存しない。分散最適化の未解決問題に答える。
• これらの方法は f_i を非凸とすることを許容しつつ、グローバル f が μ-強凸かつ L-滑らかであることを要求するため、適用範囲を広げる。
• FastMix と勾配追跡を統合し、平均化と勾配推定が集中化された加速を近似することを保証する。
• 実験結果は、提案手法が機械学習タスクにおいて既存の分散法を上回ることを示している。