[论文解读] Fast and Stable Nonconvex Constrained Distributed Optimization: The ELLADA Algorithm

Wentao Tang, Pródromos Daoutidis|arXiv (Cornell University)|Apr 4, 2020

Advanced Control Systems Optimization参考文献 61被引用 5

一句话总结

该论文提出 ELLADA，一种新颖的分布式优化算法，通过引入多层架构、不精确求解等式约束非线性规划（NLP）子问题以及改进的 Anderson 加速技术，实现了对非凸约束问题的全局收敛至驻点解。该方法在分布式非线性模型预测控制（NMPC）应用中确保了计算效率与稳定性，并具备可证明的收敛性与迭代复杂度界。

ABSTRACT

Distributed optimization, where the computations are performed in a localized and coordinated manner using multiple agents, is a promising approach for solving large-scale optimization problems, e.g., those arising in model predictive control (MPC) of large-scale plants. However, a distributed optimization algorithm that is computationally efficient, globally convergent, amenable to nonconvex constraints and general inter-subsystem interactions remains an open problem. In this paper, we combine three important modifications to the classical alternating direction method of multipliers (ADMM) for distributed optimization. Specifically, (i) an extra-layer architecture is adopted to accommodate nonconvexity and handle inequality constraints, (ii) equality-constrained nonlinear programming (NLP) problems are allowed to be solved approximately, and (iii) a modified Anderson acceleration is employed for reducing the number of iterations. Theoretical convergence towards stationary solutions and computational complexity of the proposed algorithm, named ELLADA, is established. Its application to distributed nonlinear MPC is also described and illustrated through a benchmark process system.

研究动机与目标

• 解决大规模系统中非凸约束下缺乏全局收敛且计算高效的分布式优化算法的问题。
• 仅通过本地模型信息和协调器的协调，实现分布式非线性 MPC，避免集中式或半集中式架构。
• 通过增强的加速与松弛技术，克服经典 ADMM 在非凸设置下迭代次数高、收敛缓慢的问题。
• 在不损害收敛性保证的前提下，允许子问题采用不精确解法，从而降低每轮迭代的计算负担。

提出的方法

• 引入额外层级架构，通过引入松弛变量并惩罚其与零的偏离，以处理非凸的不等式和等式约束。
• 该算法允许在每次迭代中对等式约束的非线性规划（NLP）子问题采用不精确解法，从而降低每轮迭代的计算成本。
• 对对偶变量应用改进的 Anderson 加速以加快收敛速度，并通过保障机制确保稳定性和收敛性。
• 采用障碍增广拉格朗日形式，基于温和假设下的有界性与子序列收敛性论证，建立了收敛性。
• 该方法保持了原对偶结构：各代理求解局部子问题，协调器利用所有代理的信息更新对偶变量。
• 引入一种保障准则，确保 Anderson 加速不会使迭代不稳定，即使在非凸条件下也能保持收敛性。

实验结果

研究问题

• RQ1 能否设计一种分布式优化算法，实现对具有通用子系统交互关系的非凸问题的全局收敛至驻点解？
• RQ2 如何在不损害收敛性或最优性的情况下，容忍子问题的不精确解？
• RQ3 能否有效将 Anderson 加速适配于非凸分布式优化，以减少迭代次数？
• RQ4 该算法的计算复杂度（以外部迭代与内部迭代计数）如何？
• RQ5 额外层级架构如何在保持分布式结构的同时，实现对非凸约束的处理？

主要发现

• 在标准假设下，ELLADA 能够实现对非凸约束分布式优化问题的全局收敛至驻点解。
• 为达到 ϵ-近似驻点所需的所有内部迭代总数的量级为 𝒪(ϵ⁻²⁽¹⁺ς⁾)，表明其具有多项式迭代复杂度。
• 即使子问题以近似方式求解，算法仍能保持收敛性，这显著降低了每轮迭代的计算成本。
• 改进的 Anderson 加速能有效减少迭代次数，其障碍增广拉格朗日的收敛性通过有界性与子序列收敛性得到证明。
• 该方法计算高效且稳定，具备收敛性与复杂度的理论保证，适用于实时应用，如分布式 NMPC。
• 该方法在基准过程系统上得到验证，展示了其在分布式非线性模型预测控制中的实际适用性与性能表现。