[论文解读] Distributed Prediction-Correction ADMM for Time-Varying Convex Optimization

Nicola Bastianello, Andrea Simonetto+1 more|arXiv (Cornell University)|Sep 17, 2020

Distributed Control Multi-Agent Systems参考文献 39被引用 11

一句话总结

该论文提出了一种用于时变凸优化的分布式预测校正ADMM算法，引入对偶正则化。通过预测未来成本变化并应用对偶正则化以确保线性收敛，该方法在动态环境下相较于不精确梯度法和精确对偶分解法，实现了更低的渐近误差和一致性违反。

ABSTRACT

This paper introduces a dual-regularized ADMM approach to distributed, time-varying optimization. The proposed algorithm is designed in a prediction-correction framework, in which the computing nodes predict the future local costs based on past observations, and exploit this information to solve the time-varying problem more effectively. In order to guarantee linear convergence of the algorithm, a regularization is applied to the dual, yielding a dual-regularized ADMM. We analyze the convergence properties of the time-varying algorithm, as well as the regularization error of the dual-regularized ADMM. Numerical results show that in time-varying settings, despite the regularization error, the performance of the dual-regularized ADMM can outperform inexact gradient-based methods, as well as exact dual decomposition techniques, in terms of asymptotical error and consensus constraint violation.

研究动机与目标

• 为解决在计算与通信资源受限条件下，时变分布式优化中跟踪最优解的挑战。
• 开发一种分布式算法，通过预测未来成本函数变化并在新数据到达时校正误差。
• 通过引入对偶正则化，提升时变环境下的收敛速度并降低渐近误差。
• 证明正则化可在不牺牲精度的前提下提升动态优化中的性能。

提出的方法

• 提出一种对偶正则化ADMM框架，通过在对偶问题中添加二次正则化项，确保强凸性。
• 集成预测校正机制，各节点基于历史观测预测未来本地成本，以提前预判解轨迹变化。
• 采用基于一致性约束的时变问题重 formulation，引入局部变量与辅助桥接变量以支持分布式计算。
• 应用Peaceman-Rachford分裂法以分布式方式求解正则化后的对偶问题，支持节点级更新，利用近端算子实现。
• 基于图结构与邻居通信，推导出仅依赖局部信息的原始变量与对偶变量的分布式更新规则。
• 引入正则化参数 ϵ 以平衡收敛速度与解的精度，理论分析给出了正则化误差的上界。

实验结果

研究问题

• RQ1 在时变分布式优化中，ADMM中的对偶正则化是否能提升收敛速度并降低渐近误差？
• RQ2 与标准ADMM相比，预测校正框架是否能增强动态分布式环境下的跟踪性能？
• RQ3 对偶正则化ADMM的正则化误差如何影响最终解的质量与一致性违反程度？
• RQ4 所提方法在跟踪精度与收敛速度方面是否优于不精确梯度法与精确对偶分解法？

主要发现

• 由于正则化带来的强凸性，对偶正则化ADMM实现了线性收敛，而标准ADMM不具备此特性。
• 正则化误差有界，且随正则化参数 ϵ 增大而减小，确保解与真实对偶解的接近性。
• 数值结果表明，所提方法在渐近误差与一致性违反方面均优于不精确梯度法与精确对偶分解法。
• 尽管未严格强制满足一致性约束，对偶正则化ADMM仍保持比竞争方法更小的一致性偏差。
• 性能提升归因于正则化带来的更快收敛，从而在时变设置下减小了有界跟踪误差。
• 在跟踪精度方面，该方法优于原始变量正则化（如 (1/2α)x⊤(I−W)x），证明了在动态场景中对偶正则化的优越性。