[论文解读] A Theoretical and Empirical Comparison of Gradient Approximations in Derivative-Free Optimization

Albert S. Berahas, Liyuan Cao+2 more|arXiv (Cornell University)|May 3, 2019

Advanced Optimization Algorithms Research被引用 4

一句话总结

本文在有界噪声条件下，对无导数优化中的梯度近似方法——有限差分、线性插值、高斯平滑和球面平滑——进行了理论与实证比较。研究建立了确保线搜索和固定步长下降法收敛的采样边界，表明有限差分和插值方法在效率与精度上优于平滑技术。

ABSTRACT

In this paper, we analyze several methods for approximating gradients of noisy functions using only function values. These methods include finite differences, linear interpolation, Gaussian smoothing and smoothing on a sphere. The methods differ in the number of functions sampled, the choice of the sample points, and the way in which the gradient approximations are derived. For each method, we derive bounds on the number of samples and the sampling radius which guarantee favorable convergence properties for a line search or fixed step size descent method. To this end, we use the results in [Berahas et al., 2019] and show how each method can satisfy the sufficient conditions, possibly only with some sufficiently large probability at each iteration, as happens to be the case with Gaussian smoothing and smoothing on a sphere. Finally, we present numerical results evaluating the quality of the gradient approximations as well as their performance in conjunction with a line search derivative-free optimization algorithm.

研究动机与目标

• 分析并比较在有界噪声下无导数优化中梯度近似方法的理论与实证性能。
• 推导确保线搜索和固定步长下降法收敛的采样边界与半径要求。
• 评估有限差分、线性插值、高斯平滑和球面平滑在噪声优化中的实际效率与精度。
• 研究采样策略与步长选择对无导数优化中收敛性与性能的影响。
• 为在有界噪声假设下结合L-BFGS或线搜索方法使用梯度近似提供理论依据。

提出的方法

• 使用有限差分（前向与中心）通过在坐标方向上扰动点处的函数评估来估计梯度。
• 采用线性插值，利用从当前点出发的n个线性无关方向，通过方向向量的矩阵求逆来估计梯度。
• 通过沿独立、零均值的高斯方向平均方向导数来实现高斯平滑，其方差经调优以保证精度。
• 通过在n维球面上均匀采样单位向量，并沿这些方向平均方向导数来实现球面平滑。
• 推导出确保梯度近似满足充分下降条件的样本数与采样半径的理论边界，且该条件以高概率成立。
• 在数值实验中采用线搜索和L-BFGS方法评估性能，使用自适应与固定步长。

实验结果

研究问题

• RQ1 在有界噪声下，不同梯度近似方法在理论收敛保证方面表现如何？
• RQ2 每种方法为确保无导数优化中的收敛，所需的最少函数评估次数与采样半径是多少？
• RQ3 有限差分、线性插值与基于平滑的方法在精度与计算效率方面如何比较？
• RQ4 采样分布的选择（高斯与球面）在梯度近似质量与收敛性中起什么作用？
• RQ5 自适应步长选择与固定步长相比，在提升不同梯度近似方法性能方面表现如何？

主要发现

• 有限差分与线性插值方法所需函数评估次数更少，且收敛速度优于基于平滑的方法。
• 高斯平滑与球面平滑需要显著更多的样本（例如，BSG中N = 4n）才能达到相近精度，但仍能以高概率保证收敛。
• 表现最佳的变体采用了自适应步长过程，且L-BFGS搜索方向在大多数情况下优于最速下降法。
• 使用随机正交方向的插值在强化学习任务中优于确定性的有限差分，可能因能更好地逃离局部极小值。
• 线搜索在性能上优于手动调优的固定步长，尤其对插值与平滑方法更为显著。
• 为每种方法推导出采样半径与样本数的理论边界，确保在有界噪声下满足充分下降条件。