[论文解读] EXTRA: An Exact First-Order Algorithm for Decentralized Consensus Optimization

Wei Shi, Qing Ling+2 more|arXiv (Cornell University)|Apr 24, 2014

Distributed Control Multi-Agent Systems参考文献 32被引用 11

一句话总结

本文提出 EXTRA，一种新颖的精确一阶去中心化算法，用于一致性优化，采用固定的大步长实现全局收敛至精确解，与以往需递减步长的方法不同。它利用连续两次迭代的梯度，对凸利普希茨可微目标函数实现 O(1/k) 的遍历收敛速率，并在受限强凸性条件下实现线性收敛。

ABSTRACT

Recently, there have been growing interests in solving consensus optimization problems in a multi-agent network. In this paper, we develop a decentralized algorithm for the consensus optimization problem $$\min\limits_{x\in\mathbb{R}^p}~\bar{f}(x)=\frac{1}{n}\sum\limits_{i=1}^n f_i(x),$$ which is defined over a connected network of $n$ agents, where each function $f_i$ is held privately by agent $i$ and encodes the agent's data and objective. All the agents shall collaboratively find the minimizer while each agent can only communicate with its neighbors. Such a computation scheme avoids a data fusion center or long-distance communication and offers better load balance to the network. This paper proposes a novel decentralized EXact firsT-ordeR Algorithm (abbreviated as EXTRA) to solve the consensus optimization problem. "exact" means that it can converge to the exact solution. EXTRA can use a fixed large step size, {which is independent of the network size}, and has synchronized iterations. The local variable of every agent $i$ converges uniformly and consensually to an exact minimizer of $\bar{f}$. In contrast, the well-known decentralized gradient descent (DGD) method must use diminishing step sizes in order to converge to an exact minimizer. EXTRA and DGD have the same choice of mixing matrices and similar per-iteration complexity. EXTRA, however, uses the gradients of last two iterates, unlike DGD which uses just that of last iterate. EXTRA has the best known convergence rates among the existing first-order decentralized algorithms. Specifically, if $f_i$'s are convex and have Lipschitz continuous gradients, EXTRA has an ergodic convergence rate $O(\frac{1}{k})$ in terms of the first-order optimality residual. If $\bar{f}$ is also restricted strongly convex, EXTRA converges to an optimal solution at a linear rate $O(C^{-k})$ for some constant $C>1$.

研究动机与目标

• 开发一种去中心化一阶算法，无需使用递减步长即可精确收敛至一致性优化问题的全局最小值。
• 解决现有方法（如去中心化梯度下降 DGD）需依赖递减步长才能实现精确收敛的局限性。
• 设计一种具有同步迭代和固定步长的方法，在去中心化网络中保持高效率与收敛性保证。
• 在凸利普希茨可微目标函数下，实现目前一阶去中心化算法中最佳的收敛速率。

提出的方法

• EXTRA 使用与网络规模无关的固定大步长，实现稳定高效的迭代。
• 它维护解的本地估计值，并利用当前和前一时刻的梯度进行更新。
• 该算法采用混合矩阵以在各智能体间强制达成一致性，确保所有智能体均匀收敛至同一解。
• 它引入一种新颖的李雅普诺夫函数与分析框架，证明在固定步长下的收敛性。
• 该方法利用一致性问题的结构，将梯度下降与基于连续迭代差值的校正项相结合。
• 该算法专为连通网络中所有智能体的同步执行而设计。

实验结果

研究问题

• RQ1 能否设计一种去中心化一阶算法，在不使用递减步长的情况下精确收敛至全局最小值？
• RQ2 对于凸利普希茨可微目标函数，一阶去中心化算法可实现的最佳收敛速率是多少？
• RQ3 如何利用历史梯度信息提升去中心化优化中的收敛性能？
• RQ4 在固定步长下，何种条件可确保去中心化一致性优化的线性收敛？

主要发现

• 对于凸利普希茨可微目标函数，EXTRA 在一阶最优性残差方面实现了 O(1/k) 的遍历收敛速率。
• 在平均目标函数满足受限强凸性条件下，EXTRA 以 O(C^(-k)) 的速率线性收敛，其中 C > 1。
• 该算法采用与网络规模无关的固定步长，实现稳定且可扩展的性能。
• EXTRA 通过避免递减步长的需求，在保持精确收敛的同时优于 DGD 及其他一阶方法。
• 收敛分析表明，该算法的李雅普诺夫函数以与所述收敛界一致的速率递减。
• 该方法确保所有智能体的本地变量均匀且一致地收敛至平均目标函数的精确最小值。