[论文解读] Adaptive Consensus ADMM for Distributed Optimization

Zheng Xu, Gavin Taylor+4 more|arXiv (Cornell University)|Jun 9, 2017

Sparse and Compressive Sensing Techniques参考文献 33被引用 24

一句话总结

该论文提出自适应一致性ADMM（ACADMM），一种完全自动化的分布式优化方法，通过使用局部曲率估计自适应地调整每个节点的惩罚参数，以加速收敛。该方法建立了具有节点特定参数的自适应ADMM的O(1/k)收敛速率，并在真实世界和合成数据集上表现出优于现有方法的鲁棒性和效率，且无需人工调参。

ABSTRACT

The alternating direction method of multipliers (ADMM) is commonly used for distributed model fitting problems, but its performance and reliability depend strongly on user-defined penalty parameters. We study distributed ADMM methods that boost performance by using different fine-tuned algorithm parameters on each worker node. We present a O(1/k) convergence rate for adaptive ADMM methods with node-specific parameters, and propose adaptive consensus ADMM (ACADMM), which automatically tunes parameters without user oversight.

研究动机与目标

• 解决ADMM在分布式优化中对用户定义的惩罚参数敏感的问题。
• 开发一种完全自动化的算法，可为每个工作节点自适应调整参数，无需人工调参。
• 为具有节点特定参数的自适应ADMM建立理论收敛速率。
• 在异构和高维分布式环境中提升鲁棒性和可扩展性。
• 在实际收敛速度和可靠性方面优于现有的自适应ADMM变体（如AADMM、RB和CRB）

提出的方法

• ACADMM通过为每个工作节点分配特定的惩罚参数，将自适应ADMM扩展至一致性问题，而非使用单一全局参数。
• 它在每个节点上估计子问题的局部曲率，以动态调整惩罚参数，从而提升收敛速度。
• 该方法采用保护机制，结合相关性阈值ε^cor和共轭梯度收敛常数C_cg，以确保稳定性。
• ACADMM采用改进的ADMM更新规则，为每个工作节点动态调整τ^k_i，其依据是局部对偶函数的曲率。
• 它应用残差平衡原则，但按节点进行自适应调整，避免了在高维空间中全局曲率估计的问题。
• 该算法设计为对初始惩罚参数和超参数设置不敏感，支持无需用户干预的部署。

实验结果

研究问题

• RQ1 具有节点特定惩罚参数的自适应ADMM是否能在分布式一致性问题中实现可证明的O(1/k)收敛速率？
• RQ2 每个工作节点的局部曲率估计相比全局或固定惩罚策略，如何提升收敛性能？
• RQ3 ACADMM能否在异构数据分布和不同问题维度下保持稳健性能？
• RQ4 在真实世界和合成数据集上，ACADMM与RB、AADMM和CRB相比，在收敛速度和稳定性方面表现如何？
• RQ5 ACADMM在多大程度上对初始惩罚参数以及ε^cor和C_cg等超参数不敏感？

主要发现

• 在温和条件下，ACADMM在具有节点特定参数的自适应ADMM中实现了O(1/k)收敛速率，扩展了先前的理论保证。
• 在MNIST、CIFAR10和RCV1等真实世界数据集上，ACADMM在迭代次数和实际运行时间方面均优于CADMM、RB、CRB和AADMM。
• ACADMM对初始惩罚参数选择具有鲁棒性，在所有测试数据集中均实现了与精细调优ADMM相当的性能。
• ACADMM在不同工作节点数量和数据规模下均保持稳定性能，展现出强大的可扩展性。
• 该方法对保护机制超参数ε^cor和C_cg不敏感，使用默认值即可获得优异结果，无需调优。
• 在异构数据设置下（例如包含10个高斯分布的Synthetic2），ACADMM显著优于AADMM，后者因全局曲率估计不准确而表现不佳。