[論文レビュー] EXTRA: An Exact First-Order Algorithm for Decentralized Consensus Optimization

Wei Shi, Qing Ling+2 more|arXiv (Cornell University)|Apr 24, 2014

Distributed Control Multi-Agent Systems参考文献 32被引用数 11

ひとこと要約

本稿では、固定の大規模ステップサイズを用いて正確な解へのグローバル収束を達成する、新しい正確な1階微分可能分散型アルゴリズムであるEXTRAを提案する。従来の手法とは異なり、収束を達成するための減少ステップサイズを必要としない。本手法は2つの連続する反復における勾配を活用し、凸でリプシッツ連続微分可能な目的関数に対してO(1/k)のエルゴディック収束レートを達成する。また、制限付き強い凸性下では線形収束を達成する。

ABSTRACT

Recently, there have been growing interests in solving consensus optimization problems in a multi-agent network. In this paper, we develop a decentralized algorithm for the consensus optimization problem $$\min\limits_{x\in\mathbb{R}^p}~\bar{f}(x)=\frac{1}{n}\sum\limits_{i=1}^n f_i(x),$$ which is defined over a connected network of $n$ agents, where each function $f_i$ is held privately by agent $i$ and encodes the agent's data and objective. All the agents shall collaboratively find the minimizer while each agent can only communicate with its neighbors. Such a computation scheme avoids a data fusion center or long-distance communication and offers better load balance to the network. This paper proposes a novel decentralized EXact firsT-ordeR Algorithm (abbreviated as EXTRA) to solve the consensus optimization problem. "exact" means that it can converge to the exact solution. EXTRA can use a fixed large step size, {which is independent of the network size}, and has synchronized iterations. The local variable of every agent $i$ converges uniformly and consensually to an exact minimizer of $\bar{f}$. In contrast, the well-known decentralized gradient descent (DGD) method must use diminishing step sizes in order to converge to an exact minimizer. EXTRA and DGD have the same choice of mixing matrices and similar per-iteration complexity. EXTRA, however, uses the gradients of last two iterates, unlike DGD which uses just that of last iterate. EXTRA has the best known convergence rates among the existing first-order decentralized algorithms. Specifically, if $f_i$'s are convex and have Lipschitz continuous gradients, EXTRA has an ergodic convergence rate $O(\frac{1}{k})$ in terms of the first-order optimality residual. If $\bar{f}$ is also restricted strongly convex, EXTRA converges to an optimal solution at a linear rate $O(C^{-k})$ for some constant $C>1$.

研究の動機と目的

• 減少ステップサイズを必要とせずに、協調最適化問題のグローバル最小化点に正確に収束する分散型1階微分可能アルゴリズムの開発を目的とする。
• 分散勾配降下法（DGD）など従来の手法が正確な収束を達成するためにはステップサイズを減少させる必要があるという制限を克服することを目的とする。
• 同期的な反復と固定ステップサイズを用いるが、分散ネットワークにおける高い効率性と収束保証を維持する手法の設計を目的とする。
• 凸でリプシッツ連続微分可能な目的関数に対して、1階微分可能分散型アルゴリズムの中で最高の収束レートを達成することを目的とする。

提案手法

• EXTRAは、ネットワークサイズに依存しない固定の大規模ステップサイズを用いる。これにより、安定的かつ効率的な反復が可能である。
• 局所的な解の推定値を維持し、現在と直前の反復における両方の勾配を用いて更新を行う。
• アルゴリズムは、エージェント間の協調を強制するための混合行列を用い、すべてのエージェントが均一に同じ解に収束することを保証する。
• 固定ステップサイズ下での収束を証明するために、新しいリャプノフ関数と解析フレームワークを導入する。
• 協調最適化問題の構造を活用し、勾配降下法と連続する反復間の差分に基づく補正項を組み合わせる。
• 連結されたネットワーク内のすべてのエージェントで同期実行を想定して設計されている。

実験結果

リサーチクエスチョン

• RQ1 減少ステップサイズを用いずに、グローバル最小化点に正確に収束する分散型1階微分可能アルゴリズムは可能か？
• RQ2 凸でリプシッツ連続微分可能な目的関数に対して、1階微分可能分散型アルゴリズムが達成可能な最良の収束レートは何か？
• RQ3 過去の勾配情報の使用は、分散最適化における収束をどのように改善できるか？
• RQ4 固定ステップサイズを用いた分散協調最適化で線形収束を保証する条件は何か？

主な発見

• EXTRAは、凸でリプシッツ連続微分可能な目的関数に対して、1階最適性残差の観点からO(1/k)のエルゴディック収束レートを達成する。
• 平均目的関数が制限付き強い凸性を満たす場合、EXTRAはO(C^(-k))のレートで線形収束する（C > 1）。
• アルゴリズムは、ネットワークサイズに依存しない固定ステップサイズを用いるため、安定的かつスケーラブルな性能を実現する。
• DGDや他の1階微分可能手法と比較して、減少ステップサイズの必要性を回避しつつ正確な収束を維持する点で優れている。
• 収束解析により、アルゴリズムのリャプノフ関数が提示された収束境界と整合的なレートで減少することが示された。
• 本手法は、すべてのエージェントの局所変数が平均目的関数の正確な最小化点に均一かつ協調的に収束することを保証する。