[论文解读] Inducing Uniform Asymptotic Stability in Time-Varying Accelerated Optimization Dynamics via Hybrid Regularization

Jorge I. Poveda, Na Li|arXiv (Cornell University)|May 28, 2019

Distributed Control Multi-Agent Systems被引用 6

一句话总结

本文提出一种混合正则化框架，通过引入适定的重置机制，稳定了此前在小扰动下易不稳定的时变连续时间加速优化动力学。该方法确保了统一渐近稳定性与鲁棒性，同时保持了与非混合方法相当的收敛速率。

ABSTRACT

There have been many recent efforts to study accelerated optimization algorithms from the perspective of dynamical systems. In this paper, we focus on the robustness properties of the time-varying continuous-time version of these dynamics. These properties are critical for the implementation of accelerated algorithms in feedback-based control and optimization architectures. We show that a family of dynamics related to the continuous-time limit of Nesterov's accelerated gradient method can be rendered unstable under arbitrarily small bounded disturbances. Indeed, while solutions of these dynamics may converge to the set of optimizers, in general, this set may not be uniformly asymptotically stable. To induce uniformity, and robustness as a byproduct, we propose a framework where we regularize the dynamics by using resetting mechanisms that are modeled by well-posed hybrid dynamical systems. For these hybrid dynamics, we establish uniform asymptotic stability and robustness properties, as well as convergence rates that are similar to those of the non-hybrid dynamics. We finish by characterizing a family of discretization mechanisms that retain the main stability and robustness properties of the hybrid algorithms.

研究动机与目标

• 解决从Nesterov加速梯度法导出的时变连续时间动力学缺乏统一渐近稳定性的缺陷。
• 阐明尽管收敛至最优解集，这些动力学为何在任意小的有界扰动下可能变得不稳定。
• 设计一种正则化框架，使此类动力学具备统一渐近稳定性和鲁棒性。
• 保持与原始非混合动力学相近的收敛速率。
• 设计保留混合算法稳定性与鲁棒性的离散化方案。

提出的方法

• 引入具有适定重置机制的混合动力系统，以正则化时变加速优化动力学。
• 通过依赖状态的重置建模正则化，以在不破坏收敛行为的前提下强制实现稳定性。
• 利用专为混合系统设计的李雅普诺夫分析，建立统一渐近稳定性。
• 通过混合框架的稳定性分析，推导对有界扰动的鲁棒性保证。
• 表征一类保持连续时间混合动力学稳定性与鲁棒性的离散化方法。
• 以Nesterov方法的连续时间极限作为待正则化的基础动力学。

实验结果

研究问题

• RQ1 为何时变连续时间加速动力学在小的有界扰动下无法实现统一渐近稳定性？
• RQ2 能否设计一种正则化机制，以在这些不稳定动力学中强制实现统一渐近稳定性？
• RQ3 与原始非混合动力学相比，混合重置机制对收敛速率有何影响？
• RQ4 在所提出的混合框架中，如何形式化保证对扰动的鲁棒性？
• RQ5 哪些离散化方案能够保持混合连续时间动力学的稳定性和鲁棒性？

主要发现

• Nesterov加速梯度法的连续时间极限在任意小的有界扰动下表现出不稳定性，尽管其仍收敛至最优解集。
• 所提出的混合正则化框架确保了时变动力学的统一渐近稳定性。
• 由于混合机制诱导的统一渐近稳定性，对有界扰动的鲁棒性得以直接实现。
• 混合动力学的收敛速率与原始非混合动力学相当。
• 识别出一类保持混合算法稳定性与鲁棒性的离散化机制。
• 混合系统公式提供了一个适定的框架，适用于基于反馈的控制与优化架构实现。