[论文解读] Convergence Rates of Inertial Primal-Dual Dynamical Methods for Separable Convex Optimization Problems

Xin He, Rong Hu+1 more|arXiv (Cornell University)|Jul 24, 2020

Optimization and Variational Analysis参考文献 33被引用 9

一句话总结

本文提出了一种带有时变阻尼的二阶惯性原始-对偶动力系统，用于求解具有线性约束的可分凸优化问题。通过李雅普诺夫分析，证明了在不同阻尼函数 γ(t) = α/tʳ 下，对偶间隙的收敛率为 O(t⁻⁽ʳ⁺¹⁾)，约束违反的收敛率为 O(t⁻⁽ʳ⁺¹⁾ᐟ²)，并证明了系统对外部扰动具有鲁棒性。

ABSTRACT

In this paper, we propose a second-order continuous primal-dual dynamical system with time-dependent positive damping terms for a separable convex optimization problem with linear equality constraints. By the Lyapunov function approach, we investigate asymptotic properties of the proposed dynamical system as the time $t o+\infty$. The convergence rates are derived for different choices of the damping coefficients. We also show that the obtained results are robust under external perturbations.

研究动机与目标

• 提出一种带有惯性和时变阻尼的二阶连续动力系统，用于求解具有线性等式约束的可分凸优化问题。
• 利用李雅普诺夫函数分析系统在时间 t → ∞ 时的渐近收敛行为。
• 在不同阻尼系数选择下，推导出对偶间隙和约束违反的显式收敛速率。
• 研究在动力系统中存在外部扰动时，收敛速率的鲁棒性。
• 对先前关于二阶动力系统在凸优化中应用的研究进行推广和改进，特别是针对变量之间存在非平凡耦合的问题。

提出的方法

• 提出一种带有正时变阻尼函数 γ(t) 和 δ(t) 的二阶惯性原始-对偶动力系统，在原始变量和对偶变量的更新中引入速度（惯性）项。
• 采用连续时间动力系统建模，其中通过增广拉格朗日函数的海森矩阵定义梯度项，并通过 δ(t)˙λ(t) 实现对偶变量的延迟更新。
• 应用李雅普诺夫函数方法分析系统轨迹的能量衰减和收敛特性。
• 通过分析不同阻尼函数下李雅普诺夫函数的衰减，推导出收敛速率，特别是针对 γ(t) = α/tʳ 且 r ∈ (−1,1) 的情形。
• 考虑系统在外部噪声 ε(t) 下的扰动版本，并证明在 ε(t) 满足可积性条件时，收敛速率得以保持。
• 利用微分不等式和积分界的相关引理，建立系统轨迹的有界性和衰减估计。

实验结果

研究问题

• RQ1 在带有时变阻尼的二阶惯性原始-对偶动力系统中，对偶间隙和约束违反的收敛速率能达到何种程度？
• RQ2 阻尼系数 γ(t) 的不同函数形式如何影响系统的收敛速率？
• RQ3 在小的外部扰动下，所提系统的收敛速率是否能够保持？
• RQ4 惯性项（二阶导数）相比标准原始-对偶方法，在加速收敛方面起到什么作用？
• RQ5 当 t → ∞ 时，系统如何渐近行为？在何种条件下可保证解的全局存在性和唯一性？

主要发现

• 当 γ(t) = α/tʳ 且 r ∈ (−1,0] 时，对偶间隙 L(x(t),y(t),λ*) − L(x*,y*,λ*) 的衰减速率为 O(t⁻⁽ʳ⁺¹⁾)，约束违反 ‖Ax(t)+By(t)−b‖ 的衰减速率为 O(t⁻⁽ʳ⁺¹⁾ᐟ²)。
• 当 γ(t) = α/tʳ 且 r ∈ [0,1) 时，对偶间隙的衰减速率为 O(t⁻²ʳ)，约束违反的衰减速率为 O(t⁻ʳ)，表明 r 越大收敛越快。
• 原始变量和对偶变量速度的总变差满足 ∫ₜ₀^∞ tʳ(‖ẋ(t)‖² + ‖ẏ(t)‖² + ‖λ̇(t)‖²)dt < ∞，意味着速度渐近趋于零。
• 系统在扰动下仍保持鲁棒性：若 ∫ₜ₀^∞ tʳ‖ε(t)‖dt < ∞，则当 r ∈ [0,1) 时收敛速率得以保持；若 ∫ₜ₀^∞ t⁽ʳ⁺¹⁾ᐟ²‖ε(t)‖dt < ∞，则当 r ∈ (−1,0] 时也保持鲁棒性。
• 在给定阻尼和扰动条件下，当 t₀ ≥ 1 时，解的全局存在性和唯一性得以证明。
• 本研究结果推广并改进了 Zeng 等人 [39] 的先前工作，并将 Nesterov 加速梯度法的连续时间类比扩展至具有可分凸问题的原始-对偶设置。