[论文解读] Communication-Efficient Algorithms for Decentralized and Stochastic Optimization

Guanghui Lan, Soomin Lee+1 more|arXiv (Cornell University)|Jan 14, 2017

Distributed Control Multi-Agent Systems参考文献 59被引用 8

一句话总结

本文提出了一种去中心化通信滑动（DCS）算法，显著减少了去中心化与随机优化中的节点间通信轮次，通过在本地子问题求解过程中跳过通信，实现了最优收敛速率。该方法在凸函数下保持 O(1/ε) 的通信轮次，在强凸函数下保持 O(1/√ε) 的通信轮次，同时维持最优的 O(1/ε²) 和 O(1/ε) 次次梯度评估边界，与类似精度条件下集中式方法的复杂度相匹配。

ABSTRACT

We present a new class of decentralized first-order methods for nonsmooth and stochastic optimization problems defined over multiagent networks. Considering that communication is a major bottleneck in decentralized optimization, our main goal in this paper is to develop algorithmic frameworks which can significantly reduce the number of inter-node communications. We first propose a decentralized primal-dual method which can find an $ε$-solution both in terms of functional optimality gap and feasibility residual in $O(1/ε)$ inter-node communication rounds when the objective functions are convex and the local primal subproblems are solved exactly. Our major contribution is to present a new class of decentralized primal-dual type algorithms, namely the decentralized communication sliding (DCS) methods, which can skip the inter-node communications while agents solve the primal subproblems iteratively through linearizations of their local objective functions. By employing DCS, agents can still find an $ε$-solution in $O(1/ε)$ (resp., $O(1/\sqrtε)$) communication rounds for general convex functions (resp., strongly convex functions), while maintaining the $O(1/ε^2)$ (resp., $O(1/ε)$) bound on the total number of intra-node subgradient evaluations. We also present a stochastic counterpart for these algorithms, denoted by SDCS, for solving stochastic optimization problems whose objective function cannot be evaluated exactly. In comparison with existing results for decentralized nonsmooth and stochastic optimization, we can reduce the total number of inter-node communication rounds by orders of magnitude while still maintaining the optimal complexity bounds on intra-node stochastic subgradient evaluations. The bounds on the subgradient evaluations are actually comparable to those required for centralized nonsmooth and stochastic optimization.

研究动机与目标

• 为解决去中心化优化中的高通信成本，特别是在通信为主要瓶颈的多智能体网络中。
• 开发在非光滑与随机优化问题中均能最小化节点间通信量，同时保持最优收敛速率的算法。
• 使智能体能够在不每一步都进行通信的情况下，迭代求解本地子问题，从而减少总通信轮次。
• 在保持最优次梯度评估边界的同时，实现与集中式方法相当的通信复杂度。
• 将框架扩展至仅能获取噪声次梯度的随机设置中，使其适用于流式处理与去中心化推理应用。

提出的方法

• 提出一种去中心化对偶-对偶方法，在本地子问题被精确求解时，对凸的非光滑问题实现 O(1/ε) 的通信轮次。
• 引入去中心化通信滑动（DCS）框架，通过利用本地目标函数的线性逼近，在迭代求解本地子问题时跳过节点间通信。
• 采用滑动机制，在推迟通信的同时维持对偶变量的更新，从而在不牺牲收敛保证的前提下降低通信频率。
• 设计了随机版本 SDCS，用于处理仅能获取噪声或随机次梯度的问题，确保在流式与在线设置下的通信效率。
• 采用带自适应步长和类似动量项的加权平均方案，以稳定收敛并提升通信效率。
• 利用大偏差分析与鞅差序列分析，证明在随机设置下对次梯度噪声与收敛性的概率边界。

实验结果

研究问题

• RQ1 在凸的非光滑问题中，是否能将去中心化优化的通信轮次减少至 O(1/ε)，而不影响收敛速率？
• RQ2 是否可以在不增加通信轮次的前提下，对本地子问题进行迭代且不精确的求解？
• RQ3 当仅能获取噪声次梯度（如在随机优化中）时，是否仍能保持通信效率？
• RQ4 是否可能实现与集中式方法相当的通信复杂度，同时保持最优的次梯度评估边界？
• RQ5 该框架能否扩展至处理流式数据与最小通信量的去中心化统计推断？

主要发现

• DCS 算法在一般凸函数下实现 O(1/ε) 的通信轮次，在强凸函数下实现 O(1/√ε) 的通信轮次，即使本地子问题求解不精确也成立。
• 本地子梯度评估的总次数在凸函数下保持在 O(1/ε²) 以内，在强凸函数下保持在 O(1/ε) 以内，与集中式非光滑优化的最优复杂度一致。
• 在随机设置下，SDCS 方法保持通信效率，同时实现最优的次梯度评估复杂度，与类似精度条件下的集中式随机方法相当。
• 理论分析证实，即使在本地求解不精确与次梯度存在噪声的情况下，通信滑动机制也不会降低收敛性能。
• 通过鞅差序列分析，建立了次梯度噪声与对偶变量更新的概率边界，确保在不确定性下的鲁棒收敛。
• 与现有去中心化方法相比，该框架将通信轮次显著降低了数量级，且未牺牲收敛速率或次梯度复杂度。