[论文解读] Gradient Flows and Accelerated Proximal Splitting Methods.

Guilherme França, Daniel P. Robinson+1 more|arXiv (Cornell University)|Aug 2, 2019

Sparse and Compressive Sensing Techniques参考文献 53被引用 9

一句话总结

本文将前向-后向、Douglas-Rachford、Tseng、Davis-Yin 和 ADMM 等近端算法统一为单一梯度流微分方程的不同时间离散化形式。通过将类似方案应用于加速的二阶梯度流，推导出这些算法的新加速变体，包括加速 ADMM 和 Davis-Yin 分裂法，揭示了通过动力系统理论实现一阶优化统一框架，并获得更优的收敛速率。

ABSTRACT

Proximal algorithms are well-suited for nonsmooth and constrained large-scale optimization problems and therefore suitable for applications in many areas of science. There are essentially four proximal algorithms based on fixed-point iterations currently known: forward-backward splitting, forward-backward-forward or Tseng splitting, Douglas-Rachford, and the Davis-Yin three operator splitting. In addition, the alternating direction method of multipliers (ADMM) is also closely related. In this paper we show that all of these algorithms can be derived as different discretizations of a single differential equation, namely the simple gradient flow. This is achieved through splitting methods for differential equations. Moreover, employing similar discretization schemes to a particular second-order differential equation, which we refer to as the accelerated gradient flow, results in accelerated variants of each respective proximal algorithm; we simultaneously consider two types of acceleration, although other choices are also possible. For instance, we propose accelerated variants of Davis-Yin and Tseng splitting, as well as accelerated extensions of ADMM. Interestingly, we show that ADMM and its accelerated variants correspond to rebalanced splittings, which is a recent technique designed to preserve steady states of the underlying differential equation. We show that all derived algorithms are valid first-order integrators under suitable assumptions. Our results strengthen the connections between optimization and continuous dynamical systems, offer a unified perspective on accelerated algorithms, and provide new accelerated algorithms.

研究动机与目标

• 将现有的近端算法——前向-后向、Tseng、Douglas-Rachford、Davis-Yin 和 ADMM——统一于单一连续时间动力系统框架下。
• 建立这些算法作为简单梯度流微分方程不同时间离散化的理论基础。
• 通过将类似离散化方案应用于二阶加速梯度流，推导出每种算法的加速变体。
• 证明 ADMM 及其加速变体对应于重新平衡的分裂格式，能够保持底层微分方程的稳态。
• 基于连续时间动力系统与分裂方法，为一阶积分器在优化中的理论基础提供支持。

提出的方法

• 将所有标准近端算法推导为一阶梯度流微分方程的显式时间离散化形式。
• 引入一种加速的二阶微分方程，称为加速梯度流，作为加速算法的基础。
• 应用微分方程的分裂方法对加速梯度流进行离散化，生成现有近端方案的新加速变体。
• 使用重新平衡的分裂技术，以保持底层微分方程的稳态，尤其针对 ADMM 及其加速版本。
• 在问题结构和步长满足适当假设的前提下，证明所有推导出的算法均为有效的第一阶积分器。
• 利用连续时间动力系统理论，统一分析标准与加速近端算法。

实验结果

研究问题

• RQ1 所有主要近端算法是否均可作为单一连续时间动力系统的时序离散化形式推导得出？
• RQ2 如何系统地从二阶微分方程推导一阶优化中的加速机制？
• RQ3 重新平衡分裂在保持优化动力系统稳态方面起什么作用，特别是对 ADMM？
• RQ4 所推导的 Davis-Yin 和 Tseng 分裂法的加速变体是否在与非加速版本相同的假设下仍保持收敛保证？
• RQ5 基于微分方程离散化的统一框架，能否解释多种近端方法的收敛行为与加速机制？

主要发现

• 所有标准近端算法——包括前向-后向、Tseng、Douglas-Rachford、Davis-Yin 和 ADMM——均可作为同一阶梯度流微分方程的不同时间离散化形式推导得出。
• 通过将相同离散化方案应用于二阶加速梯度流，获得这些算法的加速变体，从而推导出新的加速方法，如加速的 Davis-Yin 和 Tseng 分裂法。
• ADMM 及其加速变体被证明对应于重新平衡的分裂格式，能够保持底层微分方程的稳态，从而解释其稳定性和收敛特性。
• 在标准假设下，所提出的加速算法为有效的第一阶积分器，确保具有更优收敛速率。
• 该框架提供了一个统一的理论视角，强化了优化与连续动力系统之间的联系。
• 结果表明，近端算法中的加速可系统地从二阶动力学推导得出，为新算法设计提供了有原则的路径。