[论文解读] An Asynchronous Distributed Proximal Gradient Method for Composite Convex Optimization

Necdet Serhat Aybat, Garud Iyengar+1 more|arXiv (Cornell University)|Sep 30, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用 28

一句话总结

本文提出了一种用于网络中复合凸优化的异步分布式近端梯度方法（DFAL），其中每个节点持有私有的凸函数，并仅与邻居通信。该方法在达到 $\epsilon$-最优和 $\epsilon$-可行解时，仅需 $\mathcal{O}(\log(\epsilon^{-1}))$ 次迭代，且每个节点的近端梯度计算次数为 $\mathcal{O}(\frac{\psi_{\max}^{1.5}}{d_{\min}} \epsilon^{-1})$，通过图拉普拉斯矩阵的谱性质保证收敛性。

ABSTRACT

We propose a distributed first-order augmented Lagrangian (DFAL) algorithm to minimize the sum of composite convex functions, where each term in the sum is a private cost function belonging to a node, and only nodes connected by an edge can directly communicate with each other. This optimization model abstracts a number of applications in distributed sensing and machine learning. We show that any limit point of DFAL iterates is optimal; and for any $ε>0$, an $ε$-optimal and $ε$-feasible solution can be computed within $\mathcal{O}(\log(ε^{-1}))$ DFAL iterations, which require $\mathcal{O}(\frac{ψ_{\max}^{1.5}}{d_{\min}} ε^{-1})$ proximal gradient computations and communications per node in total, where $ψ_{\max}$ denotes the largest eigenvalue of the graph Laplacian, and $d_{\min}$ is the minimum degree of the graph. We also propose an asynchronous version of DFAL by incorporating randomized block coordinate descent methods; and demonstrate the efficiency of DFAL on large scale sparse-group LASSO problems.

研究动机与目标

• 设计一种用于在联网去中心化环境中最小化复合凸函数之和的分布式一阶算法。
• 在最小化节点间通信和计算开销的同时，确保收敛到最优解。
• 处理大规模分布式机器学习和传感应用中固有的隐私、内存和通信约束。
• 开发一种异步变体，使其在更新延迟或无序时仍能保持收敛性和效率。
• 在具有实际网络拓扑结构的大规模稀疏组LASSO问题上，展示该方法的高效性。

提出的方法

• 将全局优化问题重新表述为在连通无向图上的共识问题，其中每个节点维护一个局部变量，并通过等式约束强制达成一致。
• 采用分布式增广拉格朗日（DFAL）框架，交替执行局部近端梯度步骤和共识约束上的对偶上升更新。
• 在每个节点上使用非光滑部分 $\rho_i$ 的近端映射和光滑部分 $\gamma_i$ 的梯度，实现高效的局部计算。
• 一种异步变体（AFAL）结合了随机块坐标下降，允许节点独立且非同步地更新。
• 通过图拉普拉斯矩阵的谱性质建立收敛性，特别是 $\psi_{\max}$（最大特征值）和 $d_{\min}$（最小节点度）。
• 该方法在 $\mathcal{O}(\log(\epsilon^{-1}))$ 次迭代内实现 $\epsilon$-最优性和 $\epsilon$-可行性，且每节点的总通信和计算量有界。

实验结果

研究问题

• RQ1 在异步环境下，分布式一阶方法能否实现复合凸优化的 $\mathcal{O}(\log \epsilon^{-1})$ 迭代复杂度？
• RQ2 网络拓扑，特别是谱间隙和最小度，如何影响分布式近端算法的收敛速度？
• RQ3 异步分布式算法是否能在不依赖同步更新的情况下保持收敛性和最优性保证？
• RQ4 与现有的分布式ADMM和次梯度方法相比，所提出的DFAL方法在效率和可扩展性方面表现如何？
• RQ5 共享与私有正则化结构（如组LASSO）对去中心化优化性能有何影响？

主要发现

• DFAL 算法收敛至最优解，其迭代序列的任意极限点均为复合凸问题的全局最优解。
• 该方法在 $\mathcal{O}(\log(\epsilon^{-1}))$ 次迭代内计算出 $\epsilon$-最优和 $\epsilon$-可行解，实现对数级迭代复杂度。
• 每节点的近端梯度计算和通信总次数被限制在 $\mathcal{O}\left(\frac{\psi_{\max}^{1.5}}{d_{\min}} \epsilon^{-1}\right)$ 以内，其中 $\psi_{\max}$ 为图拉普拉斯矩阵的最大特征值，$d_{\min}$ 为最小节点度。
• 异步变体（AFAL）保持了收敛性，并在性能上与同步版本相当，显示出对更新延迟的鲁棒性。
• 在稀疏组LASSO问题上的实验结果表明，DFAL 在星型和团拓扑结构下，收敛速度和可扩展性均优于ADMM和SADMM。
• 对于组LASSO型正则化器 $\rho(x) = \beta_1\|x\|_1 + \beta_2\|x\|_G$，其近端映射存在闭式解，从而支持高效实现。