[论文解读] Gradientless Descent: High-Dimensional Zeroth-Order Optimization

Daniel Golovin, John Karro+4 more|arXiv (Cornell University)|Apr 30, 2020

Stochastic Gradient Optimization Techniques参考文献 29被引用 17

一句话总结

本文提出了无梯度下降（GLD），一种零阶优化方法，在平滑且强凸的目标函数下，其潜在维度 k ≥ n 时，可在 O(kQ log(n) log(R/ϵ)) 次评估内收敛至最优解的 ϵ-球内。该方法数值稳定，对单调变换不变，并首次实现了与维度的多对数依赖关系，且收敛速率最优。

ABSTRACT

Zeroth-order optimization is the process of minimizing an objective $f(x)$, given oracle access to evaluations at adaptively chosen inputs $x$. In this paper, we present two simple yet powerful GradientLess Descent (GLD) algorithms that do not rely on an underlying gradient estimate and are numerically stable. We analyze our algorithm from a novel geometric perspective and we show that for {\it any monotone transform} of a smooth and strongly convex objective with latent dimension $k \ge n$, we present a novel analysis that shows convergence within an $\epsilon$-ball of the optimum in $O(kQ\log(n)\log(R/\epsilon))$ evaluations, where the input dimension is $n$, $R$ is the diameter of the input space and $Q$ is the condition number. Our rates are the first of its kind to be both 1) poly-logarithmically dependent on dimensionality and 2) invariant under monotone transformations. We further leverage our geometric perspective to show that our analysis is optimal. Both monotone invariance and its ability to utilize a low latent dimensionality are key to the empirical success of our algorithms, as demonstrated on synthetic and MuJoCo benchmarks.

研究动机与目标

• 开发一种不依赖梯度估计的零阶优化算法，并在高维设置下保持数值稳定性。
• 实现对输入维度 n 呈多对数依赖的收敛速率，优于以往具有多项式或指数依赖关系的方法。
• 确保在目标函数的单调变换下保持不变，这对于复杂优化景观中的经验鲁棒性至关重要。
• 从新颖的几何视角分析该算法，从而获得更紧致且更通用的收敛边界。
• 在合成数据和 MuJoCo 基准测试上展示该方法的实际有效性，验证其理论优势。

提出的方法

• GLD 算法通过自适应采样在不依赖梯度信息的前提下评估选定输入处的目标函数。
• 其利用一种几何分析框架，将优化过程视为在潜在空间维度 k 中的一系列方向搜索。
• 该方法被设计为在目标函数的单调变换下保持不变，确保在 f(x) 的不同尺度或变换下性能一致。
• 收敛性通过一种新边界进行分析，其依赖于潜在维度 k、条件数 Q、输入直径 R 和期望精度 ϵ。
• 通过将目标函数视为 k 维潜在空间中平滑且强凸的函数，从几何视角证明了算法的稳定性和收敛性。
• 该方法在 O(kQ log(n) log(R/ϵ)) 次函数评估内达到 ϵ-最优性，这是首个实现 n 的多对数依赖关系的收敛速率。

实验结果

研究问题

• RQ1 零阶优化能否在不依赖梯度估计的前提下实现对维度 n 呈多对数依赖的收敛速率？
• RQ2 能否设计一种零阶算法，使其在目标函数的单调变换下保持不变？
• RQ3 能否通过几何分析框架为高维设置下的零阶方法获得更紧致且更通用的收敛边界？
• RQ4 目标函数的潜在维度 k 如何影响无梯度优化的收敛速率？
• RQ5 在给定平滑性、强凸性及单调不变性假设下，所提出的收敛速率是否最优？

主要发现

• GLD 算法在 O(kQ log(n) log(R/ϵ)) 次函数评估内收敛至最优解的 ϵ-邻域内，这是首个实现对输入维度 n 的多对数依赖关系的收敛速率。
• 该收敛速率在目标函数的单调变换下保持不变，这一特性增强了鲁棒性，并解释了其在复杂环境中的实际成功。
• 几何分析框架表明，在给定假设下，该算法的收敛性为最优，建立了理论紧致性。
• 该方法数值稳定，无需梯度估计，适用于黑箱或噪声目标函数。
• 在合成数据和 MuJoCo 基准测试上的实证评估证实了该方法的有效性，尤其在高维和非凸设置中表现突出。
• 潜在维度 k ≥ n 被证明是实现快速收敛的关键因素，该算法能有效利用高维问题中的低维结构。