[论文解读] Time-Varying Convex Optimization: A Contraction and Equilibrium Tracking Approach

Alexander A. Davydov, Veronica Centorrino+3 more|arXiv (Cornell University)|May 24, 2023

Advanced Optimization Algorithms Research被引用 7

一句话总结

本文提出了一套基于收缩理论的连续时间时变凸优化框架，证明了解轨迹与时变最优轨迹之间的跟踪误差，其一致有界性由收缩率、参数Lipschitz常数以及参数变化率决定。该工作为三种典型问题——单调包含、等式约束优化与复合最小化——建立了精确的收缩率与显式误差界。

ABSTRACT

In this article, we provide a novel and broadly-applicable contraction-theoretic approach to continuous-time time-varying convex optimization. For any parameter-dependent contracting dynamics, we show that the tracking error is asymptotically proportional to the rate of change of the parameter and that the proportionality constant is upper bounded by Lipschitz constant in which the parameter appears divided by the contraction rate of the dynamics squared. We additionally establish that augmenting any parameter-dependent contracting dynamics with a feedforward prediction term ensures that the tracking error vanishes exponentially quickly. To apply these results to time-varying convex optimization, we establish the strong infinitesimal contractivity of dynamics solving three canonical problems: monotone inclusions, linear equality-constrained problems, and composite minimization problems. For each case, we derive the sharpest-known contraction rates and provide explicit bounds on the tracking error between solution trajectories and minimizing trajectories. We validate our theoretical results on two numerical examples and on an application to control barrier function-based controller design that involves real hardware.

研究动机与目标

• 利用连续时间动力系统解决时变凸优化问题中跟踪最优解的挑战。
• 构建一个通用框架，无需已知平衡轨迹的导数，即可对解轨迹与时变平衡轨迹之间的跟踪误差进行上界估计。
• 针对三种典型凸优化问题——单调包含、线性等式约束问题与复合最小化——建立动力系统强无穷小收缩性质。
• 仅依赖可测量系统参数（收缩率、参数Lipschitz常数与参数变化率）提供显式且精确的收缩率与误差界。
• 通过利用收缩系统的内在特性，确保在噪声与时间延迟存在时的鲁棒性。

提出的方法

• 提出一个通用定理（定理3.3），利用收缩率、参数Lipschitz常数与参数变化率，对参数依赖的收缩系统中的跟踪误差进行上界估计。
• 将该通用定理应用于三种典型凸优化问题：通过前向-后向分裂与原始-对偶动力系统求解单调包含、等式约束优化与复合最小化问题。
• 基于李雅普诺夫分析与矩阵不等式技术，为每类问题推导出显式且精确的收缩率。
• 利用正交分解与特征值分析，对动力系统雅可比矩阵中的海森矩阵与曲率项进行上界估计，确保强无穷小收缩性。
• 运用舒尔补与矩阵不等式变换（如引理10.32），验证收缩性所需矩阵不等式条件的正定性。
• 构造一个李雅普诺夫函数候选，并在最优参数选择下证明其导数为负定，从而保证指数收敛性与鲁棒性。

实验结果

研究问题

• RQ1 是否可以在不依赖平衡轨迹导数信息的前提下，推导出解轨迹与时变最优轨迹之间跟踪误差的通用上界？
• RQ2 针对求解单调包含、等式约束问题与复合最小化问题的连续时间动力系统，其最尖锐的收缩率是什么？
• RQ3 如何基于可测量系统参数——收缩率、参数Lipschitz常数与参数变化率——显式地界定跟踪误差？
• RQ4 所提出的框架是否能确保在时变优化设置中对噪声与时间延迟的鲁棒性？
• RQ5 针对每类典型问题，最优参数选择为何种形式，可保证强无穷小收缩性并实现最小化跟踪误差？

主要发现

• 任意解轨迹与时变平衡轨迹之间的跟踪误差，其一致上界由收缩率、参数依赖的Lipschitz常数与参数变化率共同决定。
• 对于单调包含问题，所提出的前向-后向分裂动力系统实现了强无穷小收缩，其收缩率精确依赖于问题的单调性与Lipschitz参数。
• 对于线性等式约束问题，原始-对偶动力系统被证明具有强无穷小收缩性，其跟踪误差上界与参数变化率成正比，且与收缩率的倒数成反比。
• 在复合最小化问题中，收缩率被显式表示为光滑性与强凸性参数的函数，由此得到的跟踪误差界与参数变化率的平方根成正比。
• 分析结果表明，由于具备强无穷小收缩性质，所提出动力系统对扰动与时间延迟具有鲁棒性。
• 数值验证表明，理论误差界在两个测试案例中均具有紧致性，证实了所推导估计的实际有效性。