[论文解读] Convergence rate analysis of fast primal-dual methods with scalings for linearly constrained convex optimization problems

Xin He, Rong Hu+1 more|arXiv (Cornell University)|Mar 18, 2021

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出一种受内点法启发的原始-对偶算法，结合缩放机制，借鉴奈斯特罗夫加速技术求解线性约束凸优化问题。在适当缩放条件下，该算法实现了优于 𝒪(1/k²) 的收敛速率，其变体采用不精确的近端和线性化更新，并通过时间缩放的惯性动力学分析，深入揭示了加速机制的本质。

ABSTRACT

We propose a primal-dual algorithm with scaling, linked to the Nesterov's acceleration scheme, for a linear equality constrained convex optimization problem. We also consider two variants of the algorithm: an inexact proximal primal-dual algorithm and an inexact linearized primal-dual algorithm. We prove that these algorithms enjoy fast convergence properties, even faster than $\mathcal{O}(1/k^2)$ under suitable scaling conditions. Finally, we study an inertial primal-dual dynamic with time scaling for a better understanding of accelerated schemes of the proposed algorithms.

研究动机与目标

• 开发一种结合缩放机制的原始-对偶算法，以加速线性约束凸优化问题的收敛速度。
• 分析原始-对偶方法的不精确变体——近端与线性化形式，以提升实际适用性。
• 在适当的缩放条件下，建立收敛速率优于 𝒪(1/k²) 的理论结果。
• 研究具有时间缩放的惯性原始-对偶动态，以深化对原始-对偶算法中加速机制的理论理解。

提出的方法

• 该算法采用原始-对偶框架并引入自适应缩放机制，借鉴奈斯特罗夫加速技术以提升收敛速度。
• 提出一种不精确近端原始-对偶变体，允许在近端步骤中采用近似解，从而提升计算效率。
• 提出一种线性化版本的算法，通过在局部近似目标函数来简化子问题的求解过程。
• 在惯性动力学公式中引入时间缩放，以建模和分析加速算法的行为。
• 在凸性和线性等式约束的假设下进行收敛性分析，重点通过缩放实现速率提升。
• 理论分析借助李雅普诺夫函数和连续时间动力学，推导出收敛速率的上界。

实验结果

研究问题

• RQ1 结合缩放机制的原始-对偶算法能否在线性约束凸优化问题中实现优于 𝒪(1/k²) 的收敛速率？
• RQ2 不精确近端与线性化变体对收敛速率和实际性能有何影响？
• RQ3 时间缩放在惯性原始-对偶动态中扮演何种角色，以帮助理解加速机制？
• RQ4 在何种缩放条件下，所提方法能优于标准原始-对偶算法？

主要发现

• 在适当的缩放条件下，所提出的结合缩放机制的原始-对偶算法实现了优于 𝒪(1/k²) 的收敛速率。
• 不精确近端原始-对偶变体在近端步骤存在近似误差时仍保持快速收敛，表现出对误差的鲁棒性。
• 线性化变体在降低每轮迭代计算成本的同时，仍保持快速收敛特性。
• 具有时间缩放的惯性原始-对偶动态提供了连续时间视角，有助于解释加速机制的内在原理。