[论文解读] Exponential Stability of Primal-Dual Gradient Dynamics with Non-Strong Convexity

Xin Chen, Na Li|arXiv (Cornell University)|May 1, 2019

Advanced Optimization Algorithms Research参考文献 23被引用 6

一句话总结

本文通过引入两个具有非零非对角项的新型二次型李雅普诺夫函数，建立了在非强凸目标函数下原-对偶梯度动态（PDGD）的全局指数稳定性。当非强凸分量 $ g $ 为二次型或满足关于矩阵 $ B $ 的不等式条件时，在 $ A $ 满秩条件下，证明了指数稳定性，将 PDGD 稳定性理论扩展至强凸设定之外。

ABSTRACT

This paper studies the exponential stability of primal-dual gradient dynamics (PDGD) for solving convex optimization problems where constraints are in the form of Ax+By= d and the objective is min f(x)+g(y) with strongly convex smooth f but only convex smooth g. We show that when g is a quadratic function or when g and matrix B together satisfy an inequality condition, the PDGD can achieve global exponential stability given that matrix A is of full row rank. These results indicate that the PDGD is locally exponentially stable with respect to any convex smooth g under a regularity condition. To prove the exponential stability, two quadratic Lyapunov functions are designed. Lastly, numerical experiments further complement the theoretical analysis.

研究动机与目标

• 在目标函数在所有变量上均非强凸时，建立原-对偶梯度动态（PDGD）的全局指数稳定性。
• 识别在目标函数部分缺乏强凸性时，PDGD 仍保持指数稳定性的充分条件。
• 将 PDGD 的理论稳定性保证扩展至强凸目标之外，尤其适用于电力系统和资源分配等应用场景。
• 设计两个具有非零非对角项的二次型李雅普诺夫函数，以在弱化凸性假设下证明指数稳定性。
• 在满足正则性条件时，证明任意光滑凸 $ g $ 的局部指数稳定性，从而扩大适用范围。

提出的方法

• 提出一种连续时间原-对偶梯度动态（PDGD），用于求解 $ f $ 强凸而 $ g $ 仅凸的等式约束凸优化问题。
• 设计两个包含原变量、对偶变量和松弛变量之间交叉项的二次型李雅普诺夫函数，以分析稳定性。
• 利用舒尔补和矩阵不等式，证明李雅普诺夫函数中类似海森矩阵的正定性，从而确保指数衰减。
• 对 $ g $ 和 $ B $ 施加条件，使得 $ \|B\| $ 与 $ g $ 的海森矩阵满足特定不等式，从而实现指数稳定性。
• 应用谱分析和矩阵秩条件（$ A $ 满行秩），以确保平衡点的唯一性和稳定性。
• 通过包含非强凸分量的优化问题的数值实验验证理论结果。

实验结果

研究问题

• RQ1 当目标函数在所有变量上均非强凸时，原-对偶梯度动态在何种条件下可实现全局指数稳定性？
• RQ2 当 $ g $ 为二次函数时，即使缺乏强凸性，指数稳定性是否仍可保持？
• RQ3 对 $ g $ 和 $ B $ 的哪些矩阵与函数条件可确保 PDGD 的全局指数稳定性？
• RQ4 在满足正则性条件时，是否可对任意光滑凸 $ g $ 实现局部指数稳定性，即使缺乏强凸性？
• RQ5 所提出的具有非零非对角项的李雅普诺夫函数如何实现比标准方法更强的稳定性分析？

主要发现

• 当 $ g $ 为二次函数且 $ A $ 满行秩时，PDGD 实现全局指数稳定性。
• 当 $ g $ 和 $ B $ 满足特定矩阵不等式条件时，即使 $ g $ 非强凸，全局指数稳定性依然成立。
• 在所提条件下，PDGD 的平衡点唯一，确保收敛至唯一解。
• 对于任意光滑凸 $ g $，在正则性条件下可建立局部指数稳定性，从而将适用范围扩展至更广泛的问题类别。
• 所提出的李雅普诺夫函数为具有非零非对角项的二次型，相比标准方法可实现更紧密的稳定性分析。
• 数值实验验证了理论稳定性保证，并在所推导条件下展示了线性收敛速率。