[论文解读] A Dynamical Systems Perspective on Nonsmooth Constrained Optimization

Guilherme França, Daniel P. Robinson+1 more|arXiv (Cornell University)|Aug 13, 2018

Sparse and Compressive Sensing Techniques参考文献 33被引用 11

一句话总结

本文通过为两种新型ADMM变体推导连续时间微分包含，将动力系统视角扩展至非光滑、线性约束优化问题——一种通过Nesterov方法加速，另一种受Polyak的动量法启发。利用非光滑李雅普诺夫分析，该文在凸与强凸设定下建立了收敛速率，揭示了两种加速策略之间的权衡。

ABSTRACT

The acceleration technique introduced by Nesterov for gradient descent is widely used in machine learning, but its principles are not yet fully understood. Recently, significant progress has been made to close this understanding gap through a continuous-time dynamical systems perspective associated with gradient methods for smooth and unconstrained problems. Here we extend this perspective to nonsmooth and linearly constrained problems by deriving nonsmooth dynamical systems related to variants of the relaxed and accelerated alternating direction method of multipliers (ADMM). We introduce two new ADMM variants, one based on Nesterov's acceleration and the other inspired by Polyak's heavy ball method, and derive differential inclusions modelling these algorithms in the continuous-time limit. Using a nonsmooth Lyapunov analysis, we obtain rate-of-convergence results for these dynamical systems in the convex and strongly convex setting that illustrate an interesting tradeoff between Nesterov and heavy ball acceleration.

研究动机与目标

• 将连续时间动力系统框架从光滑无约束优化扩展至非光滑线性约束问题。
• 开发新型ADMM变体，结合Nesterov加速与Polyak动量方法，以提升收敛性能。
• 推导描述这些算法在连续时间极限下行为的微分包含模型。
• 在凸与强凸设定下，利用非光滑李雅普诺夫函数分析收敛速率。
• 以收敛速度与稳定性为指标，刻画Nesterov与动量加速策略之间的权衡。

提出的方法

• 在非光滑与线性约束目标存在的情况下，通过微分包含推导松弛型与加速型ADMM变体的连续时间动力系统。
• 通过引入受Nesterov光滑凸优化最优方法启发的动量项，提出一种Nesterov加速ADMM变体。
• 提出一种受动量法启发的ADMM变体，其动量项基于Polyak的动量方法，以在光滑设定下实现更快收敛。
• 将两种算法建模为非光滑微分包含，以在连续时间中捕捉离散时间算法的动力学行为。
• 应用非光滑李雅普诺夫分析以建立收敛速率，利用微分包含的结构与李雅普诺夫函数的性质。
• 在凸与强凸假设下，分析连续时间系统的稳定性与收敛行为。

实验结果

研究问题

• RQ1 动力系统框架如何被扩展以处理非光滑与线性约束优化问题？
• RQ2 Nesterov加速与动量法启发的ADMM变体的连续时间表示是什么？
• RQ3 在凸与强凸设定下，这些连续时间系统的收敛速率可建立为何种形式？
• RQ4 在连续时间极限下，Nesterov与动量加速策略在收敛速度与稳定性方面如何比较？
• RQ5 在收敛速率与鲁棒性方面，两种加速机制之间存在何种权衡？

主要发现

• 本文通过微分包含推导出两个新型连续时间动力系统，用于建模Nesterov加速与动量法启发的ADMM变体。
• 利用非光滑李雅普诺夫分析建立了收敛速率，显示在凸情况下为O(1/t)收敛，在强凸情况下为指数收敛。
• Nesterov加速系统在凸设定下收敛速度优于标准ADMM，与已知的离散时间结果一致。
• 动量法启发系统表现出更快的局部收敛，但可能稳定性较差，体现了与Nesterov加速的权衡。
• 分析表明，Nesterov加速提供更强的全局收敛保证，而动量法加速在有利条件下可实现更快的局部收敛。
• 连续时间框架成功捕捉了加速速度与鲁棒性之间的权衡，为加速ADMM方法的设计提供了新洞见。