[论文解读] Direct Runge-Kutta Discretization Achieves Acceleration

Jingzhao Zhang, Aryan Mokhtari+2 more|arXiv (Cornell University)|May 1, 2018

Stochastic Gradient Optimization Techniques参考文献 21被引用 38

一句话总结

本文提出对一个建模Nesterov加速梯度法的二阶常微分方程（ODE）进行直接的Runge-Kutta半离散化，利用s阶Runge-Kutta积分器实现了$\mathcal{O}(N^{-2s/(s+1)})$的收敛速率。该工作引入了一种类平坦性条件，在此条件下即使使用低阶积分器也能实现超越$\mathcal{O}(N^{-2})$的更快收敛速率，且仅需梯度信息，该结果在标准机器学习损失函数上得到验证。

ABSTRACT

We study gradient-based optimization methods obtained by directly discretizing a second-order ordinary differential equation (ODE) related to the continuous limit of Nesterov's accelerated gradient method. When the function is smooth enough, we show that acceleration can be achieved by a stable discretization of this ODE using standard Runge-Kutta integrators. Specifically, we prove that under Lipschitz-gradient, convexity and order-$(s+2)$ differentiability assumptions, the sequence of iterates generated by discretizing the proposed second-order ODE converges to the optimal solution at a rate of $\mathcal{O}({N^{-2\frac{s}{s+1}}})$, where $s$ is the order of the Runge-Kutta numerical integrator. Furthermore, we introduce a new local flatness condition on the objective, under which rates even faster than $\mathcal{O}(N^{-2})$ can be achieved with low-order integrators and only gradient information. Notably, this flatness condition is satisfied by several standard loss functions used in machine learning. We provide numerical experiments that verify the theoretical rates predicted by our results.

研究动机与目标

• 通过常微分方程（ODE）提供一种原理清晰的、关于一阶优化中加速现象的连续时间视角。
• 通过实现直接半离散化，克服以往依赖逆向工程或复杂积分器的研究局限。
• 通过稳定Runge-Kutta对二阶常微分方程的积分，建立可证明收敛的加速优化方法。
• 识别一种新的局部平坦性条件，使得在不使用高阶积分器的情况下也能实现超$\mathcal{O}(N^{-2})$的收敛速率。
• 通过在标准机器学习目标上的数值实验验证理论收敛速率。

提出的方法

• 提出一个二阶常微分方程，其连续解在极限情况下对应于Nesterov的加速方法。
• 使用s阶标准Runge-Kutta积分器对ODE进行半离散化，步长选择以确保稳定性和收敛性。
• 引入对目标函数的新局部平坦性条件，由参数$p$量化，用于刻画最小值附近曲率的程度。
• 基于积分器阶数$s$、平坦性参数$p$以及$f$的光滑性，推导收敛速率。
• 利用李雅普诺夫函数和能量分析方法，通过高阶导数和稳定性条件来控制误差的衰减。
• 利用数值分析中的初等微分和阶条件，建立精确解与数值解之间的误差界。

实验结果

研究问题

• RQ1 对二阶常微分方程进行直接Runge-Kutta半离散化，是否能在凸优化中实现加速收敛？
• RQ2 使用s阶Runge-Kutta积分器对所提出的ODE进行半离散化，可实现何种收敛速率？
• RQ3 目标函数的局部平坦性条件是否能实现超越$\mathcal{O}(N^{-2})$的收敛速率？
• RQ4 此类加速收敛速率是否可在仅使用梯度信息和低阶积分器的情况下实现？
• RQ5 与现有方法相比，该方法在稳定性和收敛保证方面表现如何？

主要发现

• 对于s阶Runge-Kutta积分器，收敛速率为$\mathcal{O}(N^{-2s/(s+1)})$，随着s增大趋近于$\mathcal{O}(N^{-2})$。
• 在所提出的具有参数$p$的局部平坦性条件下，可实现$\mathcal{O}(N^{-p})$的收敛速率，且即使使用低阶积分器，$p > 2$亦可实现。
• 标准机器学习损失函数（如逻辑回归和神经网络中的损失）满足该平坦性条件。
• 该方法无需逆向工程或专用积分器，仅依赖标准Runge-Kutta格式即可实现加速。
• 数值实验在多种光滑且平坦的目标函数上验证了理论预测的收敛速率。
• 分析表明，积分器的稳定性和阶条件足以实现加速，无需满足辛结构或变分结构。