[论文解读] A primal-dual flow for affine constrained convex optimization

Hao Luo|arXiv (Cornell University)|Mar 11, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种新型的原-对偶动力系统，用于仿射约束下的凸优化，通过定制的李雅普诺夫函数确保指数收敛。通过引入时间重标度参数和带有原变量速度反馈的改进对偶更新，该方法实现了全局非遍历线性收敛，优于标准的鞍点流，并为快速原-对偶算法提供了连续时间基础。

ABSTRACT

We introduce a novel primal-dual flow for affine constrained convex optimization problems. As a modification of the standard saddle-point system, our primal-dual flow is proved to possess the exponential decay property, in terms of a tailored Lyapunov function. Then two primal-dual methods are obtained from numerical discretizations of the continuous model, and global nonergodic linear convergence rate is established via a discrete Lyapunov function. Instead of solving the subproblem of the primal variable, we apply the semi-smooth Newton iteration to the subproblem with respect to the multiplier, provided that there are some additional properties such as semi-smoothness and sparsity. Especially, numerical tests on the linearly constrained $l_1$-$l_2$ minimization and the total-variation based image denoising model have been provided.

研究动机与目标

• 开发一种新的连续时间原-对偶动力系统，确保仿射约束下凸优化的指数收敛。
• 通过在对偶更新中引入原变量速度项，克服标准鞍点流中的振荡和不稳定性。
• 通过从连续时间分析导出的离散李雅普诺夫函数，建立全局非遍历线性收敛速率。
• 为PDHG方法提供连续时间解释，揭示其与带超松弛的改进动力系统的关联。
• 在存在稀疏性和半光滑性时，通过半光滑牛顿法求解对偶子问题，实现高效数值求解。

提出的方法

• 提出一种由时间重标度参数 γ 和 β 控制的原-对偶流系统，满足 γ′ = μ − γ 和 β′ = −β，统一分析 μ ≥ 0 的情形。
• 引入改进的对偶更新 ∇λℒ(x + x′, λ) 而非 ∇λℒ(x, λ)，提升稳定性并减少振荡。
• 构建一个定制的李雅普诺夫函数 E(t)，结合原-对偶间隙、原变量和对偶变量的跟踪误差，以及时变权重。
• 证明李雅普诺夫函数的指数衰减：dE/dt ≤ −E(t)，意味着 E(t) ≤ e⁻ᵗE(0)，从而推导出原变量和对偶变量迭代的指数收敛。
• 通过隐式和半隐式时间离散化连续流，推导出两种原-对偶算法，确保全局非遍历线性收敛。
• 当 f 为半光滑且稀疏时，对对偶子问题应用半光滑牛顿迭代，实现高效数值求解。

实验结果

研究问题

• RQ1 能否通过改进的原-对偶动力系统实现仿射约束下凸优化的指数收敛，而标准鞍点流无法做到？
• RQ2 在对偶更新中包含原变量速度项 x′ 如何影响系统的稳定性和收敛行为？
• RQ3 时间重标度参数 γ 和 β 在统一分析 μ > 0 和 μ = 0 情况下的作用是什么？
• RQ4 所提出的连续时间模型与 PDHG 算法及其超松弛机制有何关联？
• RQ5 在稀疏性和半光滑性等结构假设下，能否通过半光滑牛顿法高效求解对偶子问题？

主要发现

• 所提出的原-对偶流表现出定制李雅普诺夫函数的指数衰减，满足 dE/dt ≤ −E(t)，意味着 E(t) ≤ e⁻ᵗE(0)。
• 原变量和对偶变量迭代实现指数收敛：|f(x(t)) − f(x*)| + ||Ax(t) − b|| ≤ Ce⁻ᵗ，其中 C 为某常数。
• 通过离散李雅普诺夫函数，为隐式和半隐式时间离散化建立了全局非遍历线性收敛速率。
• 该方法为 PDHG 算法提供了连续时间解释，其中对偶更新中的项 x′ 对应于超松弛项 x_{k+1} − x_k。
• 数值实验验证了该方法在 l₁-l₂ 最小化和基于总变差的图像去噪中的高效性，尤其在对偶子问题中结合半光滑牛顿法时表现更优。
• 在 PPA 框架中，通过超松弛项实现了算子 Q 的对称化，解释了 PDHG 相较于标准原-对偶方案具有更优收敛行为的原因。