[论文解读] A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency

Ran Xin, Subhro Das+2 more|arXiv (Cornell University)|Oct 4, 2021

Distributed Control Multi-Agent Systems参考文献 70被引用 6

一句话总结

本文提出 ProxGT，一种新颖的随机近端梯度框架，用于在无中心协调器的网络上进行去中心化非凸复合优化。通过利用本地随机梯度和基于一致性信息交换的方法，该方法实现了与网络拓扑无关的样本复杂度以及相较于集中式最优方法的线性加速，从而实现了高效且可扩展的大规模学习。

ABSTRACT

Decentralized optimization is a promising parallel computation paradigm for large-scale data analytics and machine learning problems defined over a network of nodes. This paper is concerned with decentralized non-convex composite problems with population or empirical risk. In particular, the networked nodes are tasked to find an approximate stationary point of the average of local, smooth, possibly non-convex risk functions plus a possibly non-differentiable extended valued convex regularizer. Under this general formulation, we propose the first provably efficient, stochastic proximal gradient framework, called ProxGT. Specifically, we construct and analyze several instances of ProxGT that are tailored respectively for different problem classes of interest. Remarkably, we show that the sample complexities of these instances are network topology-independent and achieve linear speedups compared to that of the corresponding centralized optimal methods implemented on a single node.

研究动机与目标

• 解决在无中心协调器的大规模网络中的去中心化非凸复合优化问题。
• 开发一种随机近端梯度框架，确保在一般非凸和非光滑设置下收敛至近似驻点。
• 实现与网络拓扑无关的样本复杂度，并相较于集中式最优方法实现线性加速。
• 在去中心化设置下同时支持总体风险和经验风险最小化公式。

提出的方法

• 提出 ProxGT，一种结合本地随机梯度估计与基于一致性的网络通信的随机近端梯度算法。
• 使用双重随机梯度估计器以减少节点间局部梯度近似中的方差。
• 采用带有混合矩阵的一致性机制，以同步节点状态并降低通信开销。
• 提出一种新颖的误差界分析，将局部梯度方差与网络拓扑影响解耦。
• 应用加速一致性技术，进一步提升框架中的通信效率。
• 在光滑性和凸性假设下，利用下降不等式和错位求和论证，推导出理论收敛保证。

实验结果

研究问题

• RQ1 去中心化随机近端梯度方法是否能在非凸复合优化中实现与拓扑无关的样本复杂度？
• RQ2 所提出的框架是否相较于集中式最优方法实现了线性加速？
• RQ3 如何在不牺牲收敛保证的前提下，提升去中心化非凸优化中的通信效率？
• RQ4 该框架是否能以相同的理论保证处理总体风险和经验风险最小化？
• RQ5 方差减少与一致性在非凸条件下如何协同实现高效去中心化学习？

主要发现

• ProxGT 的样本复杂度与网络拓扑无关，相较于先前的去中心化方法具有显著改进。
• 即使在非凸和非光滑目标下，该方法仍实现了相对于集中式最优方法的线性加速。
• 通过加速一致性技术，通信复杂度得以提升，显著减少了达到收敛所需的通信轮数。
• 该框架支持总体风险和经验风险最小化，并能保证收敛至近似驻点。
• 理论分析证实，随机梯度和一致性的误差项在迭代过程中可被有效有界并实现错位求和。
• 数值结果表明，ProxGT 在各种网络拓扑和问题规模下均保持高效与可扩展性。