[论文解读] Improving Gradient Estimation in Evolutionary Strategies With Past Descent Directions

Florian Meier, Asier Mujika+2 more|arXiv (Cornell University)|Oct 11, 2019

Evolutionary Algorithms and Applications参考文献 19被引用 10

一句话总结

本文提出了一种新型的进化策略（ES）梯度估计方法，通过最优组合历史下降方向与随机搜索方向，显著提升了收敛速度。与以往工作不同，该方法无需了解代理梯度质量，且能保证获得更优的下降方向，在不增加任何计算成本的前提下，显著提高了梯度精度，在MNIST和强化学习基准测试中均取得了实证优势。

ABSTRACT

Evolutionary Strategies (ES) are known to be an effective black-box optimization technique for deep neural networks when the true gradients cannot be computed, such as in Reinforcement Learning. We continue a recent line of research that uses surrogate gradients to improve the gradient estimation of ES. We propose a novel method to optimally incorporate surrogate gradient information. Our approach, unlike previous work, needs no information about the quality of the surrogate gradients and is always guaranteed to find a descent direction that is better than the surrogate gradient. This allows to iteratively use the previous gradient estimate as surrogate gradient for the current search point. We theoretically prove that this yields fast convergence to the true gradient for linear functions and show under simplifying assumptions that it significantly improves gradient estimates for general functions. Finally, we evaluate our approach empirically on MNIST and reinforcement learning tasks and show that it considerably improves the gradient estimation of ES at no extra computational cost.

研究动机与目标

• 在真实梯度不可用的情况下，提升进化策略（ES）中的梯度估计性能，特别是在强化学习和黑箱优化场景中。
• 解决以往代理梯度方法的局限性，这些方法需要预先知道梯度质量，且可能无法优于代理方向。
• 开发一种方法，通过迭代利用历史更新方向作为代理梯度，随时间逐步提升估计质量。
• 从理论和实证两方面证明，该方法相比标准ES可实现更快的收敛速度和更优的梯度对齐。
• 在真实任务中验证该方法，包括MNIST图像分类和机器人强化学习环境。

提出的方法

• 该方法在由历史下降方向与随机扰动张成的子空间中，计算与真实梯度对齐最优的方向。
• 通过历史更新方向与随机搜索方向的线性组合，构建一个梯度估计器，其与真实梯度的对齐程度始终优于代理梯度。
• 该方法对代理梯度质量不敏感，即使代理梯度存在偏差或噪声，仍具有鲁棒性。
• 它允许将最新一次的梯度估计结果作为下一次迭代的代理梯度，实现信息的逐步累积。
• 该方法计算高效，除标准ES外无需额外函数评估。
• 可与一阶优化器（如Adam）集成，并应用于深度学习与强化学习设置。

实验结果

研究问题

• RQ1 是否可以利用历史下降方向构建一种梯度估计器，使其在不预先知晓代理梯度质量的情况下，始终优于代理梯度？
• RQ2 将最近一次的更新方向迭代地用作代理梯度，对收敛速度与估计精度有何影响？
• RQ3 在简化假设（如线性关系或依赖Hessian矩阵）下，能否为梯度估计的改进提供理论保证？
• RQ4 该方法在真实任务（如MNIST和机器人强化学习环境）上的性能提升程度如何？
• RQ5 在高噪声、稀疏奖励的强化学习环境中，该方法与探索机制的相互作用如何？

主要发现

• 所提方法可保证获得的下降方向，其与真实梯度的对齐程度始终优于代理梯度，无论代理梯度质量如何。
• 对于线性函数，该方法能快速收敛至真实梯度，展现出快速的理论收敛性。
• 在简化假设下，该方法的梯度估计改进程度与Hessian矩阵成正比，表明其在行为良好的函数上性能更强。
• 在MNIST任务中，与标准ES相比，该方法显著提升了梯度估计精度，并实现了更快的收敛。
• 在Roboschool环境中，该方法在InvertedPendulum任务上优于标准ES，在HalfCheetah和Ant任务上也表现出微小但稳定的性能提升。
• 在强化学习任务中，该方法的性能受限于与探索机制的相互作用，提示未来工作应将其与专门的探索策略结合。