[论文解读] How is Distributed ADMM Affected by Network Topology?

Guilherme França, José Bento|arXiv (Cornell University)|Oct 2, 2017

Distributed Control Multi-Agent Systems参考文献 44被引用 20

一句话总结

本文对非强凸一致性问题在任意图上分布式过松弛ADMM的收敛速率进行了完整表征，表明其显式依赖于图的随机游走转移矩阵的次大特征值。论文证明了一个猜想：ADMM的收敛速度至少与梯度下降（GD）一样快，且收敛时间上存在平方根加速，即使在马尔可夫链提升无法加速混合的图上也是如此。

ABSTRACT

When solving consensus optimization problems over a graph, there is often an explicit characterization of the convergence rate of Gradient Descent (GD) using the spectrum of the graph Laplacian. The same type of problems under the Alternating Direction Method of Multipliers (ADMM) are, however, poorly understood. For instance, simple but important non-strongly-convex consensus problems have not yet being analyzed, especially concerning the dependency of the convergence rate on the graph topology. Recently, for a non-strongly-convex consensus problem, a connection between distributed ADMM and lifted Markov chains was proposed, followed by a conjecture that ADMM is faster than GD by a square root factor in its convergence time, in close analogy to the mixing speedup achieved by lifting several Markov chains. Nevertheless, a proof of such a claim is is still lacking. Here we provide a full characterization of the convergence of distributed over-relaxed ADMM for the same type of consensus problem in terms of the topology of the underlying graph. Our results provide explicit formulas for optimal parameter selection in terms of the second largest eigenvalue of the transition matrix of the graph's random walk. Another consequence of our results is a proof of the aforementioned conjecture, which interestingly, we show it is valid for any graph, even the ones whose random walks cannot be accelerated via Markov chain lifting.

研究动机与目标

• 理解分布式过松弛ADMM的收敛速率如何依赖于非强凸一致性问题中底层网络的拓扑结构。
• 比较ADMM与分布式梯度下降（GD）在相同一致性问题下的收敛速率。
• 解决一个将ADMM收敛性与提升后的马尔可夫链联系起来的猜想，该猜想表明相比GD存在平方根加速。
• 基于图的谱特性（特别是随机游走转移矩阵的次大特征值）推导出最优算法参数的显式公式。

提出的方法

• 将一致性问题表述为在边上最小化平方差之和，对应于分布式平均计算。
• 利用图的随机游走转移矩阵的谱特性，分析过松弛ADMM的渐近收敛速率。
• 推导出ADMM迭代矩阵的次大特征值的精确表达式，其形式基于随机游走矩阵的谱间隙和特征值。
• 通过复特征值分析识别主导收敛模式，并优化过松弛参数γ和谱半径ρ以最小化收敛速率。
• 利用图拉普拉斯矩阵最大特征值对GD收敛速率建立界限，并将其与谱间隙δ关联。
• 建立ADMM与GD收敛速率之间的不等式关系，通过在δ上的渐近展开证明猜想中的平方根加速。

实验结果

研究问题

• RQ1 分布式过松弛ADMM的收敛速率如何依赖于底层图的拓扑结构？
• RQ2 能否在一般图上形式化证明ADMM在收敛时间上相比GD存在平方根加速的猜想？
• RQ3 基于图的谱间隙，最优的过松弛参数γ和谱半径ρ应如何选择？
• RQ4 当马尔可夫链提升无法加速混合时，ADMM的加速效果是否依然成立？
• RQ5 在图的随机游走谱间隙δ方面，ADMM与GD的收敛速率在数量上如何比较？

主要发现

• 分布式过松弛ADMM的最优收敛速率由随机游走转移矩阵的次大特征值决定，且已推导出最优参数的显式公式。
• 本文证明了ADMM收敛速度至少与GD一样快，且收敛时间上存在平方根加速，即(1−τ_A^*)² ≈ 2δ(1−o(√δ)) 且 (1−τ_G^*) ≥ (1−δ)/(1+δ)，从而得出(1−τ_A^*)² ≥ C(1−τ_G^*)，其中C=1−O(√δ)。
• ADMM的收敛速率被界定为τ_A^* = 1−√(2δ)+2δ+O(δ^{3/2})，显示出对谱间隙δ的二次依赖，这意味着相比GD的线性依赖，实现了平方根级别的改进。
• 最优过松弛参数γ^*被推导为γ^* = 4 / (3 + √((2−ρ^*)/(2+ρ^*)))，其中ρ^* = 2√(1−(ω^*)²)，ω^*为随机游走矩阵的次大特征值。
• 该加速效果适用于所有图，包括马尔可夫链提升无法加速混合的图，表明ADMM的加速并非依赖于提升技术，而是源于内在的谱特性。
• 结果表明ADMM的收敛速率在主导阶上与图的度数变化无关，最大与最小度数之比∆仅出现在高阶修正项中。