[论文解读] Accelerated primal-dual methods for linearly constrained convex optimization problems

Hao Luo|arXiv (Cornell University)|Sep 26, 2021

Stochastic Gradient Optimization Techniques参考文献 60被引用 13

一句话总结

本文提出了一种用于线性约束凸优化的加速原始-对偶动力系统，通过一种新颖的李雅普诺夫函数在连续时间下实现指数衰减。通过隐式、半隐式和显式格式的离散化，得到新的原始-对偶方法，其原始-对偶间隙、目标残差和可行性违反的非遍历收敛率为 $O(1/k^2)$，并通过数值实验验证，应用于去中心化分布式优化时表现出更优性能。

ABSTRACT

This work proposes an accelerated primal-dual dynamical system for affine constrained convex optimization and presents a class of primal-dual methods with nonergodic convergence rates. In continuous level, exponential decay of a novel Lyapunov function is established and in discrete level, implicit, semi-implicit and explicit numerical discretizations for the continuous model are considered sequentially and lead to new accelerated primal-dual methods for solving linearly constrained optimization problems. Special structures of the subproblems in those schemes are utilized to develop efficient inner solvers. In addition, nonergodic convergence rates in terms of primal-dual gap, primal objective residual and feasibility violation are proved via a tailored discrete Lyapunov function. Moreover, our method has also been applied to decentralized distributed optimization for fast and efficient solution.

研究动机与目标

• 开发一种新型加速原始-对偶动力系统，用于仿射约束凸优化，通过新颖的李雅普诺夫函数实现指数衰减。
• 通过连续模型的隐式、半隐式和显式时间离散化，推导出离散原始-对偶方法。
• 利用统一的离散李雅普诺夫函数，建立所有三种离散化类型在原始-对偶间隙、原始目标残差和可行性违反方面的非遍历收敛率 $O(1/k^2)$。
• 将所提出的半隐式方法应用于去中心化分布式优化，并展示其相对于现有方法的性能优势。
• 提供一种系统化框架，用于通过连续时间动力学与基于李雅普诺夫的分析设计加速原始-对偶算法。

提出的方法

• 引入一种带时间缩放的二阶加速原始-对偶流动系统，以实现定制李雅普诺夫函数的指数衰减。
• 对连续动力系统应用隐式、半隐式和显式时间离散化，得到三类原始-对偶算法。
• 利用子问题中的特殊结构（尤其是半隐式格式）设计适用于大规模问题的高效内层求解器。
• 采用统一的离散李雅普诺夫函数，证明所有三种离散化类型的非遍历收敛率。
• 通过将网络建模为带有混合矩阵的图，将半隐式方法适配至去中心化分布式优化。
• 通过数值实验验证收敛速率，并在集中式与去中心化设置下，与 AQP 和 Extra 方法比较性能。

实验结果

研究问题

• RQ1 能否设计一种连续时间原始-对偶动力系统，以在仿射约束凸优化中实现原始-对偶间隙的指数衰减？
• RQ2 此类系统的时域离散化能否产生具有非遍历 $O(1/k^2)$ 收敛率的新原始-对偶方法？
• RQ3 所提出的方法能否在去中心化分布式优化中有效应用，并实现快于现有方法的收敛速度？
• RQ4 所提出方法在目标间隙和可行性违反方面的收敛特性，与 AQP 和 Extra 方法相比如何？
• RQ5 李雅普诺夫函数框架能否在未来扩展以处理不精确计算和非光滑目标？

主要发现

• 所提出的加速原始-对偶流动在连续时间下实现了新颖李雅普诺夫函数的指数衰减，确保快速收敛。
• 隐式与半隐式时间离散化生成的原始-对偶方法，在原始-对偶间隙、目标残差和可行性违反方面均具有非遍历 $O(1/k^2)$ 收敛率。
• 显式格式对应于完全线性化的邻近 ALM，而半隐式格式由于结构化子问题，可实现高效内层求解器。
• 在集中式问题上的数值结果表明，所提方法（APD）收敛速度快于 AQP 和 Extra，实现 $O(1/k^2)$ 的次线性收敛率。
• 在去中心化逻辑回归中，APD 在球面图与环面图上均表现出快速线性收敛，优于 AQP 和 Extra，尽管后者具有理论上的线性收敛率。
• 半隐式方法成功扩展至去中心化分布式优化，其收敛速度与对混合矩阵选择的鲁棒性均优于现有方法。