[论文解读] An $O(s^r)$-Resolution ODE Framework for Understanding Discrete-Time Algorithms and Applications to the Linear Convergence of Minimax Problems

Haihao Lu|arXiv (Cornell University)|Jan 23, 2020

Sparse and Compressive Sensing Techniques参考文献 25被引用 4

一句话总结

本文提出一种 $O(s^r)$-分辨率的常微分方程（ODE）框架，用于分析离散时间算法（DTAs），提供了一种系统化的方法，从 DTAs 推导 ODE，并将其收敛性与对应 ODE 的收敛性关联起来。该框架证明，若 $O(s^r)$-分辨率 ODE 相对于合适的能量函数实现线性收敛，则原始 DTA 也实现线性收敛，并将该框架应用于 PPM 和 EGM，展示了其在非凸-非凹极小化极大问题中更广泛的线性收敛性。

ABSTRACT

There has been a long history of using ordinary differential equations (ODEs) to understand the dynamics of discrete-time algorithms (DTAs). Surprisingly, there are still two fundamental and unanswered questions: (i) it is unclear how to obtain a \emph{suitable} ODE from a given DTA, and (ii) it is unclear the connection between the convergence of a DTA and its corresponding ODEs. In this paper, we propose a new machinery -- an $O(s^r)$-resolution ODE framework -- for analyzing the behavior of a generic DTA, which (partially) answers the above two questions. The framework contains three steps: 1. To obtain a suitable ODE from a given DTA, we define a hierarchy of $O(s^r)$-resolution ODEs of a DTA parameterized by the degree $r$, where $s$ is the step-size of the DTA. We present a principal approach to construct the unique $O(s^r)$-resolution ODEs from a DTA; 2. To analyze the resulting ODE, we propose the $O(s^r)$-linear-convergence condition of a DTA with respect to an energy function, under which the $O(s^r)$-resolution ODE converges linearly to an optimal solution; 3. To bridge the convergence properties of a DTA and its corresponding ODEs, we define the properness of an energy function and show that the linear convergence of the $O(s^r)$-resolution ODE with respect to a proper energy function can automatically guarantee the linear convergence of the DTA. To better illustrate this machinery, we utilize it to study three classic algorithms -- gradient descent ascent (GDA), proximal point method (PPM) and extra-gradient method (EGM) -- for solving the unconstrained minimax problem $\min_{x\in\RR^n} \max_{y\in \RR^m} L(x,y)$.

研究动机与目标

• 解决使用 ODE 分析 DTAs 时两个基本未解问题：(1) 如何系统化地从给定 DTA 推导出合适的 ODE；(2) 如何将 DTA 的收敛性与对应 ODE 的收敛性关联起来。
• 提供一种基于原则的、高阶分辨率的 ODE 框架，通过将更新规则扩展至 $O(s^r)$-阶项，捕捉 DTAs 的本质动态。
• 建立 $O(s^r)$-分辨率 ODE 实现线性收敛的条件，并证明当能量函数为适当函数时，该 ODE 的线性收敛性可保证原始 DTA 的线性收敛。
• 将该框架应用于经典极小化极大算法——GDA、PPM 和 EGM——揭示其收敛行为的新见解，并扩展已知的收敛区域。

提出的方法

• 提出对 DTA 的 $r$-阶 ODE 展开，以构建唯一的 $O(s^r)$-分辨率 ODE，该 ODE 由步长 $s$ 和分辨率阶数 $r$ 参数化，实现对离散动态的更高阶近似。
• 定义相对于所选能量函数的 $O(s^r)$-线性收敛条件，确保 ODE 线性收敛至最优解。
• 引入“适当”能量函数的概念，在此条件下，$O(s^r)$-分辨率 ODE 的线性收敛性可推出原始 DTA 的线性收敛性。
• 利用泰勒展开和矩阵分析推导能量衰减界，表明当步长足够小时，高阶余项不会破坏线性收敛性。
• 使用广义块斜对称矩阵分析能量衰减中的余项，尤其适用于 $s = O(1/ ho)$ 的快速收敛情形。
• 比较 GDA、PPM 和 EGM 的 $O(s)$-分辨率 ODE，揭示交互项如何影响收敛性——在双线性设置中，这些交互项有助于 PPM/EGM，但损害 GDA。

实验结果

研究问题

• RQ1 如何系统化地从给定的离散时间算法推导出唯一且有意义的 ODE，避免因不同连续极限导致的歧义？
• RQ2 ODE 需满足何种条件才能实现线性收敛，且这些条件如何与原始离散算法的收敛行为关联？
• RQ3 为何 PPM 和 EGM 在更广泛的情境中（包括非凸-非凹极小化极大问题）表现出线性收敛，而 GDA 在双线性情形中会失败？
• RQ4 该 ODE 框架能否用于通过分析现有方法间 ODE 结构的差异，来设计新型优化算法？
• RQ5 在何种条件下，$O(s^r)$-分辨率 ODE 的收敛性可保证原始 DTA 的收敛性？

主要发现

• GDA、PPM 和 EGM 的 $O(s)$-分辨率 ODE 解释了它们在双线性极小化极大问题中发散或收敛的行为，表明 PPM 和 EGM 中的交互项促进收敛，而对 GDA 有害。
• $O(s)$-线性收敛条件统一并扩展了 PPM 和 EGM 的已知收敛区域，证明即使在非凸-非凹设置下，其线性收敛性依然成立。
• 在二次极小化极大问题中，EGM 实现快速线性收敛率（$s = O(1/ ho)$）；而在一般问题中，由于泰勒展开中余项更复杂，收敛率较慢。
• 该框架证明，若 $O(s^r)$-分辨率 ODE 相对于适当能量函数实现线性收敛，则原始 DTA 也实现线性收敛，为连续与离散分析之间建立了桥梁。
• 能量衰减分析中的余项被证明有界于 $O(s^2)$，在快速率条件下，其对衰减率的贡献最多为常数因子 2。
• 该框架可通过比较 ODE 结构实现算法设计：GDA 与 PPM/EGM 的 $O(s)$-分辨率 ODE 之间的差异揭示了如何修改 GDA 以获得更优的收敛行为。