[论文解读] Linear interpolation gives better gradients than Gaussian smoothing in derivative-free optimization

Albert S. Berahas, Liyuan Cao+2 more|arXiv (Cornell University)|May 29, 2019

Advanced Bandit Algorithms Research参考文献 20被引用 7

一句话总结

本论文提出了一种无需导数的优化方法——正交方向线性插值（LIOD），用于处理噪声大、计算昂贵的黑箱函数，理论与实证结果表明，该方法生成的梯度估计精度显著高于高斯平滑（GSG）。关键贡献在于：在相同的采样预算下，LIOD能实现更低的梯度误差与更快的收敛速度，尤其在强化学习任务中表现优异。

ABSTRACT

In this paper, we consider derivative free optimization problems, where the objective function is smooth but is computed with some amount of noise, the function evaluations are expensive and no derivative information is available. We are motivated by policy optimization problems in reinforcement learning that have recently become popular [Choromaski et al. 2018; Fazel et al. 2018; Salimans et al. 2016], and that can be formulated as derivative free optimization problems with the aforementioned characteristics. In each of these works some approximation of the gradient is constructed and a (stochastic) gradient method is applied. In [Salimans et al. 2016] the gradient information is aggregated along Gaussian directions, while in [Choromaski et al. 2018] it is computed along orthogonal direction. We provide a convergence rate analysis for a first-order line search method, similar to the ones used in the literature, and derive the conditions on the gradient approximations that ensure this convergence. We then demonstrate via rigorous analysis of the variance and by numerical comparisons on reinforcement learning tasks that the Gaussian sampling method used in [Salimans et al. 2016] is significantly inferior to the orthogonal sampling used in [Choromaski et al. 2018] as well as more general interpolation methods.

研究动机与目标

• 解决在导数不可用的情况下优化噪声大、计算昂贵的黑箱函数的挑战，尤其针对强化学习中的策略优化问题。
• 在有界噪声假设下，分析并比较梯度近似方法——特别是高斯平滑与正交线性插值——的性能。
• 为使用梯度估计的线搜索方法建立理论收敛保证，明确在何种条件下可确保收敛至最优解的噪声邻域。
• 量化梯度近似方法的方差与误差，证明结构化（正交）采样相较于随机高斯方向更具优势。
• 通过在合成测试函数与OpenAI Gym基准强化学习环境中的数值实验，验证理论结果。

提出的方法

• 提出一种适用于有界噪声的通用无导数优化线搜索算法，使用满足 $ \|g(x) - \nabla\phi(x)\| \leq \theta \|\nabla\phi(x)\| $ 的梯度估计 $ g(x) $，其中 $ \theta \leq 1/2 $。
• 采用 $ n $ 个线性无关方向 $ u_i $ 的线性插值，利用 $ f(x + \sigma u_i) $ 的取值计算 $ g(x) $，确保误差边界的确定性。
• 将梯度估计公式化为 $ g(x) = \frac{1}{2N} \sum_{i=1}^{N} \frac{f(x + \sigma u_i) - f(x - \sigma u_i)}{\sigma} u_i $，其中 $ u_i $ 为标准正交向量，等价于线性插值。
• 通过Gram-Schmidt正交化对独立同分布的高斯矩阵进行正交采样，或使用结构化矩阵（如随机Hadamard矩阵）以降低计算成本。
• 实现固定步长与Armijo条件相结合的线搜索策略，用于步长选择，并在不同方法间比较性能。
• 在强化学习实验中，使用Adam优化器，固定 $ \alpha = 0.01 $ 与 $ \sigma = 0.1 $，同时测试满足Armijo条件的线搜索（$ c_1 = 0.2, \tau = 0.3 $）。

实验结果

研究问题

• RQ1 在无导数优化中，使用正交方向的线性插值是否能产生比高斯平滑更精确的梯度估计？
• RQ2 在有界噪声条件下，梯度估计需满足何种理论条件，才能确保线搜索方法收敛至最优解的邻域？
• RQ3 梯度近似方法的方差如何依赖于采样策略（高斯 vs. 正交）及样本数量？
• RQ4 在具有噪声且计算昂贵的函数评估场景下，正交采样方法是否能在实际强化学习任务中超越高斯平滑？
• RQ5 相较于固定步长方法（如Adam），使用线搜索在无导数强化学习优化中能在多大程度上提升收敛性能？

主要发现

• 通过方差分析与数值实验验证，使用正交方向的线性插值（LIOD）生成的梯度估计误差显著低于高斯平滑（GSG）。
• 在Schittowski测试集中，LIOD使用 $ 2n $ 个样本时，相对误差的对数为 -0.1529，而GSG为 -0.0254，表明其精度更高。
• 在强化学习任务（Swimmer, HalfCheetah, Reacher）中，结合线搜索的LIOD优于GSG与固定步长的Adam，展现出更快的收敛速度与更优的最终性能。
• LIOD中使用随机正交方向有助于避免陷入局部最优，而标准有限差分法（LIOD的特例）相比GSG表现出更强的鲁棒性。
• 理论分析表明，LIOD满足所需的梯度误差界 $ \|g(x) - \nabla\phi(x)\| \leq \theta \|\nabla\phi(x)\| $，其中 $ \theta < 1/2 $，从而确保收敛至最优解的噪声邻域。
• 使用结构化矩阵（如随机Hadamard矩阵）可将正交采样成本从 $ \mathcal{O}(n^3) $ 降低至 $ \mathcal{O}(n\log n) $，从而实现高维问题的可扩展性。