[论文解读] Learning to Guide Random Search

Ozan Şener, Vladlen Koltun|arXiv (Cornell University)|Apr 25, 2020

Advanced Bandit Algorithms Research参考文献 39被引用 5

一句话总结

本文提出了一种在线流形学习方法，通过将神经网络适应于发现并利用目标函数背后的低维流形，来引导高维无导数优化中的随机搜索。通过联合学习流形与优化函数，该方法显著降低了样本复杂度，在连续控制和基准问题上优于最先进的算法，如增强随机搜索（Augmented Random Search）、贝叶斯优化和CMA-ES。

ABSTRACT

We are interested in derivative-free optimization of high-dimensional functions. The sample complexity of existing methods is high and depends on problem dimensionality, unlike the dimensionality-independent rates of first-order methods. The recent success of deep learning suggests that many datasets lie on low-dimensional manifolds that can be represented by deep nonlinear models. We therefore consider derivative-free optimization of a high-dimensional function that lies on a latent low-dimensional manifold. We develop an online learning approach that learns this manifold while performing the optimization. In other words, we jointly learn the manifold and optimize the function. Our analysis suggests that the presented method significantly reduces sample complexity. We empirically evaluate the method on continuous optimization benchmarks and high-dimensional continuous control problems. Our method achieves significantly lower sample complexity than Augmented Random Search, Bayesian optimization, covariance matrix adaptation (CMA-ES), and other derivative-free optimization algorithms.

研究动机与目标

• 为解决高维问题中无导数优化（DFO）的高样本复杂度问题，其复杂度随维度增加而急剧上升。
• 探索是否可以利用具有低内在维度的高维数据来降低DFO中的样本复杂度。
• 开发一种自适应的在线方法，联合学习底层低维流形并执行优化，而无需事先知晓流形信息。
• 通过将搜索方向投影到不断演化的神经网络学习流形的切空间中，提升随机搜索的效率。
• 在无梯度条件下实现与一阶方法相似的维度无关收敛速率。

提出的方法

• 该方法使用深度神经网络参数化高维搜索空间中的低维潜在流形，从而实现在低维空间中的优化。
• 将随机搜索扩展至在学习到的流形的切空间中运行，使用对称采样以降低梯度估计器的方差。
• 采用在线学习过程，通过带动量的随机梯度下降更新流形参数，利用函数评估结果估计流形切空间中的梯度。
• 算法对超参数δ（扰动尺度）、k（流形维度）和α（学习率）进行网格搜索，当梯度幅值低于1e-6时重新初始化。
• 该方法利用Flaxman等人（2005）提出的平滑梯度估计器，并通过切空间上的方向采样将其适配至流形。
• 流形架构采用具有ReLU激活函数的多层感知机，针对d < 1000和d > 1000采用不同的深度与宽度配置。

实验结果

研究问题

• RQ1 在线学习低维流形是否能降低高维问题中无导数优化的样本复杂度？
• RQ2 使用非线性、基于神经网络的流形表示是否在DFO中优于线性子空间方法？
• RQ3 联合优化与流形学习是否能实现比标准随机搜索或贝叶斯优化更快的收敛速度？
• RQ4 该方法在多样化的连续优化基准和高维控制任务中的表现如何？
• RQ5 所提方法的样本复杂度是否如一阶方法一样与环境维度无关？

主要发现

• 在连续控制和优化基准测试中，所提方法的样本复杂度显著低于增强随机搜索、贝叶斯优化、CMA-ES及其他DFO基线方法。
• 在低维无约束优化套件（d=10和d=100的46个问题）中，该方法在函数评估效率方面优于所有基线方法。
• 在MuJoCo连续控制任务中，该方法以更少的环境交互次数收敛到更高的回报，优于ARS、CMA-ES和贝叶斯优化。
• 气动翼型优化实验表明，该方法在更少的函数评估次数内找到了性能更优的设计，优于基线方法。
• 理论分析证实，该方法通过利用问题的低内在维度性，降低了样本复杂度。
• 该方法在多种问题类型中保持稳定性能，包括噪声、非凸和非可分函数，展现出良好的鲁棒性。