[论文解读] A two-level distributed algorithm for nonconvex constrained optimization

Kaizhao Sun, Xu Andy Sun|arXiv (Cornell University)|Feb 20, 2019

Sparse and Compressive Sensing Techniques参考文献 78被引用 10

一句话总结

本文提出了一种用于非凸约束优化的两级分布式算法，结合内层多块ADMM与外层增广拉格朗日法（ALM），以确保全局收敛与局部收敛。该框架可实现并行化、收敛的复杂非凸问题求解——尤其适用于电力系统等网络化系统，其收敛速度与可行性优于标准ADMM，同时保持鲁棒性。

ABSTRACT

This paper aims to develop distributed algorithms for nonconvex optimization problems with complicated constraints associated with a network. The network can be a physical one, such as an electric power network, where the constraints are nonlinear power flow equations, or an abstract one that represents constraint couplings between decision variables of different agents. Despite the recent development of distributed algorithms for nonconvex programs, highly complicated constraints still pose a significant challenge in theory and practice. We first identify some difficulties with the existing algorithms based on the alternating direction method of multipliers (ADMM) for dealing with such problems. We then propose a reformulation that enables us to design a two-level algorithm, which embeds a specially structured three-block ADMM at the inner level in an augmented Lagrangian method (ALM) framework. Furthermore, we prove the global and local convergence as well as iteration complexity of this new scheme for general nonconvex constrained programs, and show that our analysis can be extended to handle more complicated multi-block inner-level problems. Finally, we demonstrate with computation that the new scheme provides convergent and parallelizable algorithms for various nonconvex applications, and is able to complement the performance of the state-of-the-art distributed algorithms in practice by achieving either faster convergence in optimality gap or in feasibility or both.

研究动机与目标

• 为解决标准ADMM在非凸、多块、约束优化问题中缺乏收敛性保证的问题。
• 开发一种分布式算法，实现在各参与方之间并行计算的同时，保持全局收敛性与可行性。
• 克服现有基于ADMM的方法在处理电力系统等物理网络中的非凸约束时的局限性。
• 提供一种可扩展、鲁棒的框架，其在最优性间隙与可行性收敛方面均优于当前最先进的分布式算法。

提出的方法

• 将原始非凸问题重新构造为两级结构，以解耦复杂约束并实现分布式求解。
• 在内层使用一种特殊结构的三块ADMM，以实现各参与方之间本地变量的并行更新。
• 将内层ADMM嵌入外层增广拉格朗日法（ALM）中，以保证全局收敛并处理约束耦合。
• 在内层ADMM中引入松弛变量与邻近项，以稳定迭代过程并改善收敛行为。
• 基于残差阈值动态更新外层ALM步骤中的惩罚参数与对偶变量，以加速收敛。
• 基于原始不可行性残差范数设计收敛准则，以触发外层更新。

实验结果

研究问题

• RQ1 结合ADMM与ALM的两级算法能否实现对具有网络耦合的一般非凸约束优化问题的全局收敛？
• RQ2 为何标准ADMM在具有多块结构与复杂约束的非凸问题中会失效？
• RQ3 如何在不牺牲收敛性保证的前提下实现在分布式非凸优化中的并行化？
• RQ4 与现有最先进方法相比，所提算法在最优性间隙与可行性收敛方面能实现多大程度的加速？
• RQ5 该算法框架能否扩展至处理超出三块情况的更复杂的多块内层问题？

主要发现

• 该两级算法即使在标准ADMM失效的情况下，也能实现一般非凸约束规划的全局与局部收敛。
• 与标准ADMM相比，该算法在最优性间隙与可行性方面均表现出更快的收敛速度，尤其在外层对偶变量更新后更为显著。
• 在张量低秩逼近实验中，该两级方法显著加快了原始残差（不可行性）的减少速度，约在500次内层迭代内达到高精度可行性。
• 低秩张量恢复中的相对误差收敛至与ADMM-g相当的水平，尽管初始阶段略慢，但表现出相近的最优性。
• 该框架具有鲁棒性与可扩展性，能够处理ADMM易出现收敛缓慢或发散的复杂非凸问题。
• 当现有文献中的工作策略在收敛条件不满足时，该方法提供了一种切实可行的替代方案，尤其在电力系统等实际应用中表现出优势。