[论文解读] Distributed Algorithms for Composite Optimization: Unified and Tight Convergence Analysis.

Jinming Xu, Ye Tian+2 more|arXiv (Cornell University)|Feb 25, 2020

Distributed Control Multi-Agent Systems被引用 21

一句话总结

该论文提出了一种统一的分布式算法框架，用于在网络上进行复合优化，通过算子分裂方法结合光滑与非光滑凸函数。该框架在强凸问题中实现线性收敛，且对局部函数与网络拓扑的依赖关系完全解耦；在凸问题中实现次线性收敛率，且系数分离；并实现了与网络连通性无关的计算-通信权衡——这是首个同时具备所有这些特性的框架。

ABSTRACT

We study distributed composite optimization over networks: agents minimize a sum of smooth (strongly) convex functions, the agents' sum-utility, plus a nonsmooth (extended-valued) convex one. We propose a general unified algorithmic framework for such a class of problems and provide a unified convergence analysis leveraging the theory of operator splitting. Distinguishing features of our scheme are: (i) When the agents' functions are strongly convex, the algorithm converges at a linear rate, whose dependence on the agents' functions and network topology is decoupled, matching the typical rates of centralized optimization; the rate expression improves on existing results; (ii) When the objective function is convex (but not strongly convex), similar separation as in (i) is established for the coefficient of the proved sublinear rate; (iii) The algorithm can adjust the ratio between the number of communications and computations to achieve a rate (in terms of computations) independent on the network connectivity; and (iv) A by-product of our analysis is a tuning recommendation for several existing (non accelerated) distributed algorithms yielding the fastest provably (worst-case) convergence rate. This is the first time that a general distributed algorithmic framework applicable to composite optimization enjoys all such properties.

研究动机与目标

• 开发一种适用于网络中分布式复合优化的通用、统一的算法框架。
• 实现收敛速率的紧密界，使局部函数与网络拓扑的影响完全解耦。
• 在不降低收敛速率的前提下，实现通信与计算之间的可调权衡。
• 为现有非加速分布式算法提供可证明最优的调参方法。
• 统一并改进强凸与凸设置下的收敛性分析。

提出的方法

• 该框架利用算子分裂理论，统一分析分布式复合优化问题。
• 将各 agent 的和-效用建模为光滑（强）凸函数与一个非光滑扩展实值凸函数的和。
• 算法采用源自算子分裂的原始-对偶方法，以处理复合结构。
• 通过单调算子理论与固定点迭代的理论工具分析收敛速率。
• 该方法允许动态调节通信与计算的比例，而不影响最坏情况下的收敛速率。
• 作为分析的副产品，推导出适用于现有非加速算法的调参建议。

实验结果

研究问题

• RQ1 是否能通过单一分布式算法框架，实现强凸复合问题的线性收敛，且对局部函数与网络拓扑的依赖关系完全解耦？
• RQ2 对于凸但非强凸的问题，其收敛速率能否分离为局部函数与网络结构的分量？
• RQ3 是否可能在不降低最坏情况收敛速率的前提下，调节通信与计算的比例？
• RQ4 所提出的分析能否为现有非加速分布式算法提供改进的调参规则？
• RQ5 该框架是否统一并改进了强凸与凸设置下现有收敛结果？

主要发现

• 该算法在强凸问题中实现线性收敛，且对局部函数与网络拓扑的依赖关系完全解耦。
• 强凸问题的速率表达式在紧致性与可分性方面优于现有结果。
• 对于凸问题，次线性收敛系数同样被分离为局部函数与网络结构的分量。
• 该算法实现了通信与计算之间的权衡，使得以计算量衡量的收敛速率与网络连通性无关。
• 该分析为若干现有非加速分布式算法提供了调参建议，实现了最快可证明的最坏情况收敛速率。
• 这是首个同时实现四项关键特性的框架：解耦的收敛速率、可调的通信-计算比、紧致的收敛界，以及对强凸与凸情形的统一分析。