[论文解读] A Caputo fractional derivative-based algorithm for optimization

Yeonjong Shin, Jérôme Darbon+1 more|arXiv (Cornell University)|Apr 6, 2021

Fractional Differential Equations Solutions参考文献 25被引用 6

一句话总结

本文提出了一种新颖的Caputo分数阶梯度下降（CFGD）算法，利用Caputo分数阶导数来提升优化性能，尤其适用于病态条件问题。通过定义对应于目标函数局部平滑版本中最速下降方向的分数阶梯度，自适应终端CFGD版本显著加快了收敛速度——尤其在仅使用少量求积点时——优于标准梯度下降法。

ABSTRACT

We propose a novel Caputo fractional derivative-based optimization algorithm. Upon defining the Caputo fractional gradient with respect to the Cartesian coordinate, we present a generic Caputo fractional gradient descent (CFGD) method. We prove that the CFGD yields the steepest descent direction of a locally smoothed objective function. The generic CFGD requires three parameters to be specified, and a choice of the parameters yields a version of CFGD. We propose three versions -- non-adaptive, adaptive terminal and adaptive order. By focusing on quadratic objective functions, we provide a convergence analysis. We prove that the non-adaptive CFGD converges to a Tikhonov regularized solution. For the two adaptive versions, we derive error bounds, which show convergence to integer-order stationary point under some conditions. We derive an explicit formula of CFGD for quadratic functions. We computationally found that the adaptive terminal (AT) CFGD mitigates the dependence on the condition number in the rate of convergence and results in significant acceleration over gradient descent (GD). For non-quadratic functions, we develop an efficient implementation of CFGD using the Gauss-Jacobi quadrature, whose computational cost is approximately proportional to the number of the quadrature points and the cost of GD. Our numerical examples show that AT-CFGD results in acceleration over GD, even when a small number of the Gauss-Jacobi quadrature points (including a single point) is used.

研究动机与目标

• 为解决分数阶梯度下降（FGD）方法中缺乏理论理解的问题，特别是关于下降方向和收敛行为的问题。
• 开发一种基于Caputo分数阶导数的优化算法，在较弱条件下确保收敛至整数阶驻点。
• 减轻病态优化问题中收敛速度对条件数的依赖。
• 针对非二次函数，使用Gauss-Jacobi求积法实现高效且可扩展的算法实现。
• 为不同CFGD变体（尤其是二次目标函数情形）建立理论收敛保证和误差界。

提出的方法

• 提出一种通用的Caputo分数阶梯度下降（CFGD）算法，通过相对于笛卡尔坐标的Caputo分数阶导数定义，需三个参数：阶数、终端点和初值点。
• 将Caputo分数阶梯度定义为对目标函数局部平滑版本的最速下降方向，以确保下降行为。
• 提出三种变体：非自适应（参数固定）、自适应终端（调节终端点）和自适应阶数（调节分数阶阶数），其中自适应终端版本表现更优。
• 推导出在二次目标函数情形下Caputo分数阶梯度的显式闭式表达式，从而支持理论分析。
• 对于非二次函数，通过Gauss-Jacobi求积法高效实现CFGD，计算成本与求积点数量及标准梯度下降成本成正比。
• 采用递归误差界框架分析收敛性，表明在有界性和光滑性条件下，自适应版本可收敛至整数阶驻点。

实验结果

研究问题

• RQ1 Caputo分数阶梯度下降（CFGD）所遵循的下降方向是什么？它与原始目标函数有何关系？
• RQ2 分数阶导数参数（阶数、终端点、初值点）的选择如何影响优化中的收敛性和性能？
• RQ3 自适应终端CFGD变体是否能降低对条件数的依赖，并相较于标准梯度下降加速收敛？
• RQ4 对于二次目标函数，CFGD可建立何种理论收敛保证？
• RQ5 如何在最小计算开销下高效实现CFGD以处理非二次函数？

主要发现

• 通用CFGD方向对应于目标函数局部平滑版本的最速下降方向，提供了清晰的几何解释。
• 非自适应CFGD线性收敛至Tikhonov正则化解，而该解并非整数阶梯度的驻点，表明解存在偏差。
• 自适应终端（AT）-CFGD缓解了收敛速度对条件数的依赖，相较于标准梯度下降实现显著加速。
• 对于二次函数，Caputo分数阶梯度的显式公式支持精确理论分析，并证实了AT-CFGD变体的收敛加速效果。
• 即使仅使用一个Gauss-Jacobi求积点，AT-CFGD在非二次问题中的实现仍能实现对标准梯度下降的加速。
• 自适应版本的误差界表明，在较弱假设下（如Hessian有界、目标函数光滑）可收敛至整数阶驻点。