[论文解读] Fast convergence of primal-dual dynamics and algorithms with time scaling for linear equality constrained convex optimization problems

Xin He, Rong Hu+1 more|arXiv (Cornell University)|Mar 24, 2021

Sparse and Compressive Sensing Techniques参考文献 44被引用 6

一句话总结

本文提出一种带时间缩放的惯性原始-对偶动态，用于线性等式约束凸优化，结合了原始变量的二阶常微分方程与对偶变量的一阶常微分方程。在特定缩放条件下，该方法在不假设强凸性的情况下实现指数收敛，且在小扰动下仍保持快速收敛性，相应地，其离散化后的近似原始-对偶算法也匹配该动态的收敛速率。

ABSTRACT

Second-order dynamical systems are important tools to solve optimization problems, and most of the existing works in this field have focused on unconstrained optimization problems. In this paper, we propose an inertial primal-dual dynamic with time scaling for the linear equality constrained convex optimization problem, which consists of a second-order ODE for the primal variable and a first-order ODE for the dual variable. When the scaling satisfies certain conditions, we prove its fast convergence property without assuming strong convexity, which can reach an exponential convergence rate at the most. We also show that the obtained fast convergence property of the dynamic is preserved under a small perturbation. By a time discretization, we develop an inexact primal-dual algorithm and derive the fast convergence property matching that of the underlying dynamic. Finally, we give numerical experiments to illustrate the validity of the proposed algorithm.

研究动机与目标

• 为解决现有线性等式约束凸优化问题中缺乏快速收敛的二阶动力学方法的问题。
• 设计一种原始-对偶动力系统，确保在不假设强凸性的情况下实现快速收敛。
• 建立时间缩放条件，以确保快速收敛性并具备对扰动的鲁棒性。
• 推导出时间离散化的近似原始-对偶算法，使其继承连续动态的收敛特性。
• 通过数值实验验证理论结果的有效性。

提出的方法

• 在原始-对偶动力系统中，为原始变量建立二阶常微分方程，为对偶变量建立一阶常微分方程。
• 引入满足特定条件的时间缩放函数，以确保快速收敛。
• 在原始变量的常微分方程中引入惯性（类似Heavy-ball）项，以加速收敛。
• 通过分析系统能量相关的李雅普诺夫函数，推导收敛速率。
• 对连续动态进行时间离散化，构建具有自适应步长的近似原始-对偶算法。
• 采用李雅普诺夫函数方法，证明指数收敛性及对小扰动的鲁棒性。

实验结果

研究问题

• RQ1 是否可通过带时间缩放的二阶原始-对偶动态，在不假设强凸性的情况下，实现线性等式约束凸优化的快速收敛？
• RQ2 时间缩放函数需满足何种条件，才能确保动态系统的指数收敛？
• RQ3 该动态系统的快速收敛特性是否对小扰动具有鲁棒性？
• RQ4 连续时间下的收敛特性能否在时间离散化的近似原始-对偶算法中得以保持？
• RQ5 所提出的算法在收敛速度方面，与现有方法相比表现如何？

主要发现

• 所提出的原始-对偶动态在不依赖强凸性的情况下，实现了线性等式约束凸优化问题的指数收敛。
• 在小扰动下，指数收敛速率仍被保持，表明该动态系统的鲁棒性。
• 时间缩放函数必须满足特定的可积性与衰减条件，才能确保快速收敛。
• 时间离散化的近似原始-对偶算法继承了连续动态的指数收敛速率。
• 数值实验验证了所提算法在实现快速收敛方面的有效性与高效性。
• 李雅普诺夫函数分析证明了收敛速率与鲁棒性，为该方法提供了理论基础。