[论文解读] A Class of Randomized Primal-Dual Algorithms for Distributed Optimization

Jean‐Christophe Pesquet, Audrey Repetti|arXiv (Cornell University)|Jun 24, 2014

Stochastic Gradient Optimization Techniques参考文献 53被引用 83

一句话总结

本文提出了一类用于分布式凸优化的随机块坐标原始-对偶算法，通过随机扫掠和预条件化技术降低计算负载并支持异步更新。主要贡献在于在随机块激活和随机误差条件下，对单调包含问题和复合凸优化问题均提供了收敛性保证，且迭代序列几乎必然弱收敛。

ABSTRACT

Based on a preconditioned version of the randomized block-coordinate forward-backward algorithm recently proposed in [Combettes,Pesquet,2014], several variants of block-coordinate primal-dual algorithms are designed in order to solve a wide array of monotone inclusion problems. These methods rely on a sweep of blocks of variables which are activated at each iteration according to a random rule, and they allow stochastic errors in the evaluation of the involved operators. Then, this framework is employed to derive block-coordinate primal-dual proximal algorithms for solving composite convex variational problems. The resulting algorithm implementations may be useful for reducing computational complexity and memory requirements. Furthermore, we show that the proposed approach can be used to develop novel asynchronous distributed primal-dual algorithms in a multi-agent context.

研究动机与目标

• 开发适用于大规模分布式优化问题的灵活且低复杂度的原始-对偶算法。
• 通过仅在每次迭代中激活变量子集的块坐标更新，降低内存和计算需求。
• 在多智能体系统中实现最小协调的异步、分布式实现。
• 在满足温和可 summability 条件下，即使在算子评估存在随机误差时，仍能保证收敛。
• 将现有前向-后向原始-对偶方法扩展为具有理论保证的随机化、块激活变体。

提出的方法

• 以预条件化的随机块坐标前向-后向算法为基础，进行原始-对偶迭代。
• 采用随机激活规则在每次迭代中选择变量块，支持异步和分布式计算。
• 引入随机拟-Fejér序列以处理算子评估中的误差，确保在可 summability 条件下收敛。
• 通过将随机扫掠应用于单调算子上的前向-后向迭代，推导出块坐标原始-对偶算法。
• 通过将近端算子与梯度结合，并利用对偶变量进行变量分裂，将该框架应用于复合凸问题。
• 设计分布式方案，使更新仅在智能体邻域内局部进行，采用基于一致性平均和对偶变量更新的方法。

实验结果

研究问题

• RQ1 当每次迭代仅更新变量子集时，随机块坐标方案是否仍能保持原始-对偶算法的收敛性？
• RQ2 在分布式原始-对偶方法中，如何容忍算子评估中的随机误差，同时保持收敛性？
• RQ3 所提出的框架在多智能体分布式优化中，能在多大程度上支持异步运行并实现最小协调？
• RQ4 在随机块选择和随机误差存在的情况下，何种条件可确保迭代序列的弱几乎必然收敛？
• RQ5 块坐标方法如何被适配于单调包含问题和复合凸优化问题？

主要发现

• 在适当的步长和误差条件下，所提出的随机块坐标原始-对偶算法几乎必然弱收敛于单调包含问题的解。
• 即使算子评估受到随机误差影响，只要误差满足可 summability 条件，收敛性仍能保持。
• 该框架支持异步分布式实现，每次仅更新智能体邻域内的局部信息。
• 对于复合凸问题，该方法允许同时使用近端算子和梯度，提升了算法设计的灵活性。
• 在欧几里得空间中采用恒定步长且无误差的特殊情况下，该算法退化为已知的分布式方案，验证了其一致性。
• 收敛性分析依赖于一种新颖的随机拟-Fejér序列框架，将块坐标方法的适用性扩展至随机化设置。