[论文解读] Design of generalized fractional order gradient descent method

Yiheng Wei, Yü Kang+2 more|arXiv (Cornell University)|Dec 24, 2018

Fractional Differential Equations Solutions参考文献 36被引用 15

一句话总结

本文提出了三种新颖的解决方案——固定记忆步长、高阶级数截断和可变分数阶阶数——以解决分数阶梯度下降方法中的收敛问题，否则该方法会收敛到分数阶极值点而非真实最小值。这些方法确保了快速且稳定的收敛至实际最优解，通过在优化和LMS问题上的大量仿真得到验证。

ABSTRACT

This paper focuses on the convergence problem of the emerging fractional order gradient descent method, and proposes three solutions to overcome the problem. In fact, the general fractional gradient method cannot converge to the real extreme point of the target function, which critically hampers the application of this method. Because of the long memory characteristics of fractional derivative, fixed memory principle is a prior choice. Apart from the truncation of memory length, two new methods are developed to reach the convergence. The one is the truncation of the infinite series, and the other is the modification of the constant fractional order. Finally, six illustrative examples are performed to illustrate the effectiveness and practicability of proposed methods.

研究动机与目标

• 解决分数阶梯度方法收敛至分数阶极值点而非目标函数真实最小值的根本问题。
• 探究非收敛的根本原因，特别是分数阶导数的非局部性与长记忆性的作用。
• 开发适用于实时在线计算分数阶梯度的实用且可实现的解决方案。
• 在保持快速收敛速度和稳定性的同时，确保收敛至实际最优解。
• 为分数阶微积分在优化算法中的应用提供理论与实践框架，超越理论好奇。

提出的方法

• 通过应用短记忆原理对分数阶导数的无限记忆进行截断，提出固定记忆步长方法。
• 提出高阶级数截断方法，通过截断无限级数展开中的高阶项来近似分数阶导数。
• 设计可变分数阶阶数策略，使阶数在迭代过程中自适应调整，以改善收敛行为。
• 将这些方法集成到基于Caputo定义分数阶导数的梯度下降框架中，以提高数值稳定性。
• 在连续和离散设置中实现这些方法，包括在LMS算法和非线性优化中的应用。
• 通过参数调优（如学习率、记忆长度、阶数调整）平衡收敛速度与抖振抑制。

实验结果

研究问题

• RQ1 为何分数阶梯度方法无法收敛至函数的真实最小值？
• RQ2 分数阶导数的非局部性如何导致收敛至分数阶极值点而非实际最小值？
• RQ3 分数阶导数的长记忆特性能否被有效截断或修改，以恢复收敛至真实最小值？
• RQ4 在实时应用中，实现分数阶梯度下降的实用且计算可行的方法有哪些？
• RQ5 可变分数阶阶数与级数截断方法在性能与稳定性方面相较于固定阶数方法表现如何？

主要发现

• 由于分数阶导数的非局部性，分数阶梯度方法收敛至分数阶极值点而非真实最小值。
• 固定记忆步长方法通过将历史影响限制在有限窗口内，成功恢复了对真实最小值的收敛。
• 高阶级数截断提供了一种有效的记忆截断替代方案，在降低计算负载的同时实现快速收敛。
• 可变分数阶方法通过动态调整导数阶数，显著提升了收敛速度并减少了抖振，优于固定阶数方法。
• 在全部六个数值示例中，包括非线性和非凸函数，三种所提方法均实现了对真实最优解的快速收敛。
• 在LMS算法示例中，三种方法均以高速度和高精度成功估计了滤波器权重，展示了其实际适用性。