[论文解读] Explicit Convergence Rate of a Distributed Alternating Direction Method of Multipliers

Franck Iutzeler, Pascal Bianchi+2 more|arXiv (Cornell University)|Dec 4, 2013

Distributed Control Multi-Agent Systems被引用 7

一句话总结

本文为解决N个代理之间共识优化问题的分布式ADMM算法提供了显式的线性收敛速率。每个代理持有局部凸函数。在二阶可微性及解处Hessian矩阵和为正定的假设下，收敛速率被推导为涉及Hessian矩阵与网络结构的矩阵的谱半径，从而可对ADMM惩罚参数ρ进行优化以实现更快收敛。

ABSTRACT

Consider a set of N agents seeking to solve distributively the minimization problem $\\inf_{x} \\sum_{n = 1}^N f_n(x)$ where the convex functions $f_n$ are local to the agents. The popular Alternating Direction Method of Multipliers has the potential to handle distributed optimization problems of this kind. We provide a general reformulation of the problem and obtain a class of distributed algorithms which encompass various network architectures. The rate of convergence of our method is considered. It is assumed that the infimum of the problem is reached at a point $x_\\star$, the functions $f_n$ are twice differentiable at this point and $\\sum \ abla^2 f_n(x_\\star) > 0$ in the positive definite ordering of symmetric matrices. With these assumptions, it is shown that the convergence to the consensus $x_\\star$ is linear and the exact rate is provided. Application examples where this rate can be optimized with respect to the ADMM free parameter $\ ho$ are also given.

研究动机与目标

• 为共识优化中的分布式ADMM建立一个紧致且显式的收敛速率。
• 分析网络拓扑与算法参数对收敛速度的影响。
• 通过广义代理分组，提供从完全集中式到完全分布式设置的通用框架。
• 实现ADMM惩罚参数ρ的优化，以提升收敛性能。

提出的方法

• 通过代理分组A₁,…,Aₗ重新表述分布式共识问题，以建模各种网络架构。
• 推导一种在这些分组上运行的分布式ADMM算法，支持成对通信与簇级通信。
• 通过将ADMM迭代建模为仿射变换ζₖ₊₁ = Rζₖ + d，分析二次情形，收敛由矩阵R的谱半径决定。
• 通过将非二次函数视为R主导特征空间内的扰动，将二次分析推广至一般情形。
• 利用R的特征结构分析，将精确的线性收敛速率推导为谱半径ρ(R)。
• 通过实证表明收敛速率与理论速率一致，证明该速率是紧致的。

实验结果

研究问题

• RQ1 在光滑性与Hessian矩阵正定条件下，分布式ADMM的精确线性收敛速率是什么？
• RQ2 网络拓扑（如集中式与环形网络）如何影响收敛速率？
• RQ3 能否对ADMM惩罚参数ρ进行优化以最小化收敛速率？
• RQ4 收敛速率如何依赖于解处局部函数的Hessian矩阵？
• RQ5 理论收敛速率是否紧致，即是否与实际性能匹配？

主要发现

• 线性收敛速率被显式表征为由Hessian矩阵和∑ₙ ∇²fₙ(x⋆)与网络结构共同导出的矩阵的谱半径。
• 在集中式网络中，最优ρ等于二阶导数σ²⋆，与N无关。
• 在环形网络中，收敛速率α依赖于ρ与N，可通过调节ρ进行优化。
• 理论速率是紧致的：数值模拟显示−k⁻¹ log∥xₖ − x⋆∥收敛于−log α。
• 与先前界（如Shi et al.）相比，该方法在精度上表现更优，尤其适用于非二次函数。
• 该方法可实现ADMM变体的收敛性增强，通过优化ρ与网络拓扑。