[论文解读] A Block-wise, Asynchronous and Distributed ADMM Algorithm for General Form Consensus Optimization

Rui Zhu, Di Niu+1 more|arXiv (Cornell University)|Feb 24, 2018

Stochastic Gradient Optimization Techniques参考文献 8被引用 6

一句话总结

该论文提出 AsyBADMM，一种分块、异步且分布式的 ADMM 算法，可在无需全局锁的情况下并行更新模型参数块，在稀疏优化中实现近线性加速。该算法在非凸、非光滑一致性问题上理论证明了收敛至驻点，并在真实世界大规模稀疏逻辑回归数据上验证了性能。

ABSTRACT

Many machine learning models, including those with non-smooth regularizers, can be formulated as consensus optimization problems, which can be solved by the alternating direction method of multipliers (ADMM). Many recent efforts have been made to develop asynchronous distributed ADMM to handle large amounts of training data. However, all existing asynchronous distributed ADMM methods are based on full model updates and require locking all global model parameters to handle concurrency, which essentially serializes the updates from different workers. In this paper, we present a novel block-wise, asynchronous and distributed ADMM algorithm, which allows different blocks of model parameters to be updated in parallel. The lock-free block-wise algorithm may greatly speedup sparse optimization problems, a common scenario in reality, in which most model updates only modify a subset of all decision variables. We theoretically prove the convergence of our proposed algorithm to stationary points for non-convex general form consensus problems with possibly non-smooth regularizers. We implement the proposed ADMM algorithm on the Parameter Server framework and demonstrate its convergence and near-linear speedup performance as the number of workers increases.

研究动机与目标

• 解决现有异步分布式 ADMM 方法中依赖全局参数锁所导致的可扩展性瓶颈，该机制尽管采用异步机制却仍使更新串行化。
• 通过允许在分布式服务器上独立更新模型参数块，实现在稀疏优化中的高效并行化。
• 开发一种理论基础坚实的算法，在有界延迟假设下，针对具非光滑正则化项的一般形式一致性问题，收敛至驻点。
• 通过参数服务器框架在真实世界大规模稀疏数据集上展示实际可扩展性和收敛性。

提出的方法

• 提出一种分块 ADMM 公式，其中每个工作节点仅更新模型参数（块）的子集，避免对完整模型进行锁定。
• 引入一种延迟感知的惩罚参数 $\rho_{i,j}$ 和一种依赖延迟的项 $\gamma$，以确保在有界延迟下实现收敛。
• 采用参数服务器架构，包含多个服务器节点，每个节点存储一致性变量 $\mathbf{z}$ 的一个块，实现分布式和并发更新。
• 使用异步更新机制，工作节点独立循环处理坐标并更新块，无需等待其他节点。
• 应用基于一致性约束的 ADMM 更新规则，结合对偶上升与增广拉格朗日函数，每个工作节点使用本地数据和部分模型参数求解子问题。
• 采用截断机制 $\|\mathbf{x}\|_\infty \leq C$ 以稳定训练，防止在高维稀疏设置下发散。

实验结果

研究问题

• RQ1 分块异步 ADMM 算法是否能在有界延迟下收敛至非凸、非光滑一致性优化问题的驻点？
• RQ2 在分布式 ADMM 中消除全局参数锁是否能在大规模稀疏学习任务中实现近线性加速？
• RQ3 与现有同步或锁式异步 ADMM 方法相比，所提算法在真实世界稀疏数据集上的实际表现如何？
• RQ4 延迟界限和惩罚参数的选择对收敛性和训练稳定性有何影响？

主要发现

• AsyBADMM 实现了近线性加速：在包含 2000 万特征和 3.05 亿非零元素的稀疏文本数据集上，使用 32 个工作节点时，100 次迭代的加速比达到 29.83×。
• 在有界延迟假设下，即使目标函数为非凸、非光滑，该算法仍能收敛至满足 KKT 条件的驻点。
• 在 Amazon EC2 上使用 18 个 c4.large 实例的实验结果表明，目标函数在所有工作节点数量（1 至 32）下均保持稳定收敛。
• 100 次迭代的运行时间从 1 个工作节点的 6802 秒降至 32 个工作节点的 228 秒，展现出强大的可扩展性。
• 即使在异步更新和可接受延迟下，该算法仍保持收敛，如图 2(a) 和 (b) 所示的目标函数曲线所证实。
• 选择 $\gamma = 0.01$ 和 $\rho_{i,j} = 100$ 可确保所有实验中训练的稳定性和收敛性。