[论文解读] Gradient-free optimization of highly smooth functions: improved analysis and a new algorithm

Arya Akhavan, Evgenii Chzhen+2 more|arXiv (Cornell University)|Jun 3, 2023

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出一种基于ℓ₁-球随机化的无梯度优化算法，适用于高度光滑函数，在现有ℓ₂-基方法的基础上，实现了偏差与方差边界的改进。通过使用Poincaré型不等式进行精细化分析，建立了强凸函数与Polyak-Łojasiewicz函数的极小极大最优性，并在弱噪声假设下推导出紧致的收敛速率。

ABSTRACT

This work studies minimization problems with zero-order noisy oracle information under the assumption that the objective function is highly smooth and possibly satisfies additional properties. We consider two kinds of zero-order projected gradient descent algorithms, which differ in the form of the gradient estimator. The first algorithm uses a gradient estimator based on randomization over the $\ell_2$ sphere due to Bach and Perchet (2016). We present an improved analysis of this algorithm on the class of highly smooth and strongly convex functions studied in the prior work, and we derive rates of convergence for two more general classes of non-convex functions. Namely, we consider highly smooth functions satisfying the Polyak-Łojasiewicz condition and the class of highly smooth functions with no additional property. The second algorithm is based on randomization over the $\ell_1$ sphere, and it extends to the highly smooth setting the algorithm that was recently proposed for Lipschitz convex functions in Akhavan et al. (2022). We show that, in the case of noiseless oracle, this novel algorithm enjoys better bounds on bias and variance than the $\ell_2$ randomization and the commonly used Gaussian randomization algorithms, while in the noisy case both $\ell_1$ and $\ell_2$ algorithms benefit from similar improved theoretical guarantees. The improvements are achieved thanks to a new proof techniques based on Poincaré type inequalities for uniform distributions on the $\ell_1$ or $\ell_2$ spheres. The results are established under weak (almost adversarial) assumptions on the noise. Moreover, we provide minimax lower bounds proving optimality or near optimality of the obtained upper bounds in several cases.

研究动机与目标

• 在零阶噪声Oracle访问条件下，改进高度光滑函数无梯度优化的理论收敛保证。
• 提出一种基于ℓ₁-球随机化的新型算法，该算法在无噪声条件下相较于ℓ₂-基方法在偏差与方差控制方面表现更优。
• 将现有分析扩展至非凸设置，包括满足Polyak-Łojasiewicz条件的函数与一般高度光滑函数。
• 通过极小极大下界证明，确立所提上界为最优或近乎最优。
• 统一使用Poincaré型不等式分析ℓ₁与ℓ₂球面上均匀分布的梯度估计器。

提出的方法

• 提出一种新颖的零阶投影梯度下降算法，采用ℓ₁-球随机化进行梯度估计，替代传统的ℓ₂或高斯方案。
• 使用平滑核以利用高阶光滑性，遵循Polyak与Tsybakov（1990）的框架。
• 通过针对ℓ₁与ℓ₂球面上均匀分布量身定制的新Poincaré型不等式，推导偏差与方差边界。
• 将新证明技术应用于一般噪声模型（包括近乎对抗性噪声）下ℓ₁-基与ℓ₂-基梯度估计器的分析。
• 使用极小极大分析推导下界，证明所提上界在关键情形下为最优或近乎最优。
• 在弱假设下，为强凸、Polyak-Łojasiewicz及一般光滑非凸函数建立收敛速率。

实验结果

研究问题

• RQ1 ℓ₁-球随机化方案是否能在无梯度优化中实现优于ℓ₂-基梯度估计器的偏差与方差控制？
• RQ2 在零阶噪声Oracle访问下，高度光滑函数无梯度优化的最优收敛速率为何？
• RQ3 所提算法在非凸设置下表现如何，特别是对于满足Polyak-Łojasiewicz条件的函数？
• RQ4 优化误差的上界是否为极小极大最优？相应的下界为何？
• RQ5 能否利用ℓ₁与ℓ₂球面上均匀分布的Poincaré型不等式，对梯度估计器进行更紧致的分析？

主要发现

• 在无噪声情况下，ℓ₁-基算法在偏差与方差边界上优于ℓ₂-基与高斯随机化，理论保证更优。
• 对于具有Lipschitz梯度的强凸函数，ℓ₁与ℓ₂算法均达到极小极大最优速率α⁻¹d/√T，证实边界的最优性。
• ℓ₁-基算法的上界在多个情形下与极小极大下界一致，证明其收敛速率近乎最优。
• 论文建立了期望优化误差的极小极大下界，阶为min(α, d/α ⋅ T⁻⁽ᵝ⁻¹⁾ᐟᵝ)，与上界仅差常数因子。
• 分析扩展至满足Polyak-Łojasiewicz条件的非凸函数，收敛速率依赖于Łojasiewicz参数。
• 基于ℓ₁与ℓ₂球面Poincaré型不等式的新型证明技术，可更精确控制梯度估计器的矩，从而实现更优的收敛速率。