[論文レビュー] Optimal and Practical Algorithms for Smooth and Strongly Convex Decentralized Optimization

Dmitry Kovalev, Adil Salim+1 more|arXiv (Cornell University)|Jun 21, 2020

Sparse and Compressive Sensing Techniques被引用数 14

ひとこと要約

本稿では、ネットワーク全体に分散して格納された滑らかで強く凸な関数に対する、2つの新しい分散型最適化アルゴリズムを提案する。これらは、単調包含問題を解くために前向き・後向き法の加速版を活用する。最初のアルゴリズムは、双対勾配評価を必要とせず、勾配計算と通信ラウンドの両方で最適な複雑度を達成する。第二のアルゴリズムは、条件数に依存する対数要因を含まずに最適な通信複雑度を達成する。理論的分析と数値実験により検証されている。

ABSTRACT

We consider the task of decentralized minimization of the sum of smooth strongly convex functions stored across the nodes of a network. For this problem, lower bounds on the number of gradient computations and the number of communication rounds required to achieve $\\varepsilon$ accuracy have recently been proven. We propose two new algorithms for this decentralized optimization problem and equip them with complexity guarantees. We show that our first method is optimal both in terms of the number of communication rounds and in terms of the number of gradient computations. Unlike existing optimal algorithms, our algorithm does not rely on the expensive evaluation of dual gradients. Our second algorithm is optimal in terms of the number of communication rounds, without a logarithmic factor. Our approach relies on viewing the two proposed algorithms as accelerated variants of the Forward Backward algorithm to solve monotone inclusions associated with the decentralized optimization problem. We also verify the efficacy of our methods against state-of-the-art algorithms through numerical experiments.

研究の動機と目的

• ネットワークに分散して格納された滑らかで強く凸な関数の和を最小化する効率的な分散型最適化アルゴリズムの設計。
• 分散型最適化において、勾配計算と通信ラウンドの両方の観点から最適な収束速度を達成すること。
• 最適なアルゴリズムにおける高価な双対勾配計算への依存を排除し、実用性を向上させること。
• 条件数に依存する対数要因を含まずに最適な通信複雑度を達成する手法の開発。
• 提案されたアルゴリズムを、最先端の手法と比較して数値実験により検証すること。

提案手法

• アルゴリズムは、分散型最適化問題に由来する単調包含問題を解くために、前向き・後向き法の加速版として導出される。
• 収束解析のため、プライマル、双対、および一貫性変数を含む行列ベースのポテンシャル関数を用いてリャプノフ関数を構築する。
• 反復の動的挙動と最適解からの距離を捉えるために、行列 P、W†、および M を用いた重み付きノルムを分析に用いる。
• 収束速度の向上のために、チェビシェフ加速とオペレータ分割技術を組み込む。
• 問題をプライマル・双対および一貫性変数を用いて再定式化することで、双対勾配計算を回避するアルゴリズム設計がなされる。
• 反復的不等式による再帰的解析により、リャプノフ関数が線形に減少することを示し、最適な複雑度バウンドが得られる。

実験結果

リサーチクエスチョン

• RQ1 双対勾配計算を必要とせず、勾配評価と通信ラウンドの両方で最適な複雑度を達成する分散型アルゴリズムを設計することは可能か？
• RQ2 条件数に依存する対数要因を含まずに、最適な通信複雑度を達成することは可能か？
• RQ3 前向き・後向き法の加速版は、分散環境における単調包含問題にどのように適応可能か？
• RQ4 行列重み付きノルムを用いたリャプノフ関数は、最適レートでの収束を確立するために果たす役割は何か？
• RQ5 提案されたアルゴリズムは、既存の最先端の分散型最適化手法と実際の性能でどのように比較されるか？

主な発見

• 提案された最初のアルゴリズムは、勾配計算と通信ラウンドの両方で最適な複雑度を達成し、Scamanら（2017）が確立した理論的下界と一致する。
• 従来の最適アルゴリズムとは異なり、この手法は双対勾配の評価を必要とせず、実用的効率が著しく向上する。
• 第二のアルゴリズムは、条件数に依存する対数要因を含まずに最適な通信複雑度を達成し、既存の加速手法を改善する。
• 理論的分析により、収束率が条件数 κ と χ の平方根に依存する線形収束であることが示され、最適性が確認された。
• 数値実験により、収束速度とロバスト性の面で、提案されたアルゴリズムが最先端の手法を上回ることを示した。
• リャプノフ関数の解析により、収束率の収縮係数が得られ、μ、L、およびグラフの固有値特性に明示的な依存関係を持つことが示された。