[論文レビュー] Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks

Dmitry Kovalev, Elnur Gasanov+2 more|arXiv (Cornell University)|Jun 8, 2021

Distributed Control Multi-Agent Systems被引用数 8

ひとこと要約

本稿は、時変ネットワーク上における分散型の滑らかで強く凸な最適化の通信量および局所的計算複雑度に対する最初の下界を確立する。2つの最適なアルゴリズム—多対応（dual-gradientに基づく）を備えたADOMと、プライマル勾配に基づくADOM+—を提案し、それらが下界と一致する。これにより、$\epsilon$-精度を$\mathcal{O}(\kappa^{1/2}\log(1/\epsilon))$の局所的計算回数および$\mathcal{O}(\chi\kappa^{1/2}\log(1/\epsilon))$の通信ラウンドで達成する。ここで$\kappa$は条件数、$\chi$はネットワーク接続性パラメータである。

ABSTRACT

We consider the task of minimizing the sum of smooth and strongly convex functions stored in a decentralized manner across the nodes of a communication network whose links are allowed to change in time. We solve two fundamental problems for this task. First, we establish the first lower bounds on the number of decentralized communication rounds and the number of local computations required to find an $\\epsilon$-accurate solution. Second, we design two optimal algorithms that attain these lower bounds: (i) a variant of the recently proposed algorithm ADOM (Kovalev et al., 2021) enhanced via a multi-consensus subroutine, which is optimal in the case when access to the dual gradients is assumed, and (ii) a novel algorithm, called ADOM+, which is optimal in the case when access to the primal gradients is assumed. We corroborate the theoretical efficiency of these algorithms by performing an experimental comparison with existing state-of-the-art methods.

研究の動機と目的

• 時変ネットワークにおける分散型最適化の通信量および計算複雑度の根本的限界を確立すること。
• 滑らかで強く凸な関数に対する既存のアルゴリズムと理論的下界の間のギャップを埋めること。
• プライマルおよび双対勾配へのアクセスの下で、導出された下界と一致する最適なアルゴリズムを設計すること。
• 数値実験を通じて、提案手法の理論的効率を検証すること。

提案手法

• 情報理論的議論と最悪ケースの問題インスタンス構築を用いて、分散型通信および局所的計算複雑度の下界を導出する。
• 多対応サブルーチンを統合した双対勾配に基づくアルゴリズムであるADOM with multi-consensusを提案し、双対勾配へのアクセス下で最適収束を達成する。
• 多対応を統合した新規なプライマル勾配に基づくアルゴリズムADOM+を導入し、プライマル勾配へのアクセス下で最適な性能を達成する。
• 適切に選ばれたパラメータを用いたリャプノフ関数解析を用いて、下界と一致する線形収束レートを証明する。
• プライマル・双対形式と変数変換を用いて、プライマルおよび双対変数の収束を分離し制御する。
• APM-C や Acc-GT といった最先端手法と比較する数値実験を通じて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 時変ネットワーク上における滑らかで強く凸な分散型最適化で$\epsilon$-精度を達成するために必要な分散型通信ラウンド数の根本的下界は何か？
• RQ2 同じ条件下で$\epsilon$-精度を達成するために必要な最小の局所的計算回数は何か？
• RQ3 既存のアルゴリズムは、これらの理論的下界に適合するように改善可能か？
• RQ4 時変ネットワークにおいて最適な複雑度を達成するプライマル勾配に基づくアルゴリズムは存在するか？
• RQ5 双対勾配に基づく手法も、アルゴリズム的改善によって最適化可能か？

主な発見

• 本稿は、時変ネットワーク上における分散型滑らかで強く凸な最適化の通信量および局所的計算複雑度に対する、これまでに知られていた最初の下界を確立する。
• 下界は、局所的計算に対して$\mathcal{O}(\kappa^{1/2}\log(1/\epsilon))$、通信ラウンドに対して$\mathcal{O}(\chi\kappa^{1/2}\log(1/\epsilon))$である。
• 多対応を備えたADOMは、双対勾配へのアクセス下で最適な性能を達成し、導出された下界と一致する。
• ADOM+は、プライマル勾配へのアクセス下でも最適な性能を達成し、理論的下界と一致する。
• 提案されたアルゴリズムは実装可能であり、実際の応用でも競争力があり、実験ではAPM-C や Acc-GT といった最先端手法を上回るか、同等の性能を示す。
• 解析により、Acc-GT も最適であることが確認され、その複雑度は導出された下界と一致する。