[论文解读] Guided evolutionary strategies: Augmenting random search with surrogate gradients

Niru Maheswaranathan, Luke Metz+3 more|arXiv (Cornell University)|Jun 26, 2018

Advanced Multi-Objective Optimization Algorithms被引用 26

一句话总结

本文提出引导式进化策略（Guided Evolutionary Strategies, Guided ES），该方法通过在由代理梯度定义的低维子空间上调整搜索分布，将代理梯度与随机搜索相结合。该方法通过解析平衡偏差与方差，在未展开优化、合成梯度和离散神经网络训练中均实现了优于标准进化策略和一阶方法的优化性能。

ABSTRACT

Many applications in machine learning require optimizing a function whose true gradient is unknown, but where surrogate gradient information (directions that may be correlated with, but not necessarily identical to, the true gradient) is available instead. This arises when an approximate gradient is easier to compute than the full gradient (e.g. in meta-learning or unrolled optimization), or when a true gradient is intractable and is replaced with a surrogate (e.g. in certain reinforcement learning applications, or when using synthetic gradients). We propose Guided Evolutionary Strategies, a method for optimally using surrogate gradient directions along with random search. We define a search distribution for evolutionary strategies that is elongated along a guiding subspace spanned by the surrogate gradients. This allows us to estimate a descent direction which can then be passed to a first-order optimizer. We analytically and numerically characterize the tradeoffs that result from tuning how strongly the search distribution is stretched along the guiding subspace, and we use this to derive a setting of the hyperparameters that works well across problems. Finally, we apply our method to example problems, demonstrating an improvement over both standard evolutionary strategies and first-order methods (that directly follow the surrogate gradient). We provide a demo of Guided ES at https://github.com/brain-research/guided-evolutionary-strategies

研究动机与目标

• 解决真实梯度不可用但存在相关代理梯度的优化问题。
• 克服纯随机搜索（高维下方差过高）和朴素一阶方法（梯度不准确导致偏差）的局限性。
• 开发一种系统性方法，最优融合代理梯度信息与进化策略。
• 分析并调节在随机搜索中使用代理梯度所固有的偏差-方差权衡。
• 在多种机器学习应用中展示该方法的有效性，包括未展开优化和离散变量训练。

提出的方法

• 该方法定义了一个沿由近期代理梯度张成的引导子空间拉长的搜索分布，从而降低下降方向估计的方差。
• 通过在此低维子空间内进行随机扰动，采用有限差分法估计下降方向。
• 该算法自适应地调节搜索分布在引导子空间上的拉伸程度，以平衡偏差与方差，其依据来自对这一权衡的解析表征。
• 通过解析推导出最优超参数设置，以在各类问题上最大化期望进展。
• 该方法被应用于具有未展开梯度、合成梯度和离散变量的问题中，其中代理梯度存在偏差或噪声。
• 通过识别引导式ES更新等价于对真实梯度乘以一个半正定矩阵，避免了二阶优化器（如Adam）的问题。

实验结果

研究问题

• RQ1 如何最优地将代理梯度与随机搜索结合，以改善黑箱优化中的收敛性？
• RQ2 在进化策略中使用代理梯度时，偏差与方差之间的解析权衡是什么？
• RQ3 能否推导出一种系统性方法，以调节代理梯度子空间上引导强度，从而在各类问题中实现稳健性能？
• RQ4 在梯度存在偏差或噪声的场景下，引导式ES与标准进化策略和一阶方法相比表现如何？
• RQ5 当代理梯度初始质量较差时（如合成梯度训练中），引导式ES能否稳定训练？

主要发现

• 在注入梯度偏差的二次型测试问题上，引导式ES在使用代理梯度时，优于标准进化策略和一阶方法。
• 即使合成梯度初始质量较差，该方法仍能保持一致的进展，而一阶方法则出现发散或停滞。
• 在未展开优化中，与标准方法相比，引导式ES显著降低了由偏差引起的超率预测误差。
• 尽管合成梯度与真实梯度之间的相关性在训练过程中保持较低水平，引导式ES仍能持续取得进展，表明其对梯度质量具有鲁棒性。
• 基于偏差-方差分析推导出的最优超参数设置，可在无需针对每个问题单独调优的情况下，实现多样问题上的优异性能。
• 该方法的更新方向等价于对真实梯度应用一个半正定矩阵，提示在使用Adam等同样应用此类矩阵的优化器时需谨慎。