[论文解读] Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits

Arya Akhavan, Massimiliano Pontil+1 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Bandit Algorithms Research参考文献 31被引用 18

一句话总结

该论文提出了一种随机化、无导数的优化算法，利用高阶光滑性（Hölder 参数 β ≥ 2）在零阶随机优化和连续多臂赌博机问题中提升收敛性能。通过使用两点函数评估与平滑核，并结合投影梯度下降，该方法实现了近乎最优的样本复杂度和极小最大误差率，优化误差被限制在 $\mathcal{O}(d/\sqrt{\alpha T} + d^2/(α T))$，在强凸性和光滑性假设下显著优于先前工作。

ABSTRACT

We study the problem of zero-order optimization of a strongly convex function. The goal is to find the minimizer of the function by a sequential exploration of its values, under measurement noise. We study the impact of higher order smoothness properties of the function on the optimization error and on the cumulative regret. To solve this problem we consider a randomized approximation of the projected gradient descent algorithm. The gradient is estimated by a randomized procedure involving two function evaluations and a smoothing kernel. We derive upper bounds for this algorithm both in the constrained and unconstrained settings and prove minimax lower bounds for any sequential search method. Our results imply that the zero-order algorithm is nearly optimal in terms of sample complexity and the problem parameters. Based on this algorithm, we also propose an estimator of the minimum value of the function achieving almost sharp oracle behavior. We compare our results with the state-of-the-art, highlighting a number of key improvements.

研究动机与目标

• 研究高阶光滑性（β ≥ 2）在无导数随机优化中对优化误差与累计遗憾的影响。
• 设计一种基于两点函数评估与平滑核的随机投影梯度算法，以在无导数条件下估计梯度。
• 推导出显式依赖于维度 d、强凸性参数 α、光滑性 β 与噪声水平 σ 的优化误差与遗憾的紧致上界。
• 通过信息论论证建立极小最大下界，证明所提算法在问题参数范围内近乎最优。
• 提出一种最小函数值的估计器，实现近乎精确的 oracle 行为。

提出的方法

• 基于在 xₜ ± hₜrₜζₜ 处的两点函数评估构造随机梯度估计器，其中 rₜ ∈ [-1,1]，ζₜ 为单位球面上的均匀分布随机变量。
• 对梯度估计器应用平滑核 K(rₜ)，以利用函数 f 的高阶光滑性，提升估计精度。
• 采用步长为 ηₜ = 1/(αt) 的投影梯度下降方案，确保在强凸性条件下的收敛性。
• 通过递归分析期望次优性，结合光滑性与噪声项，推导出优化误差与遗憾的上界。
• 利用基于核函数的逼近方法，使收敛性超越仅具有 2 阶光滑性的函数，推广了先前仅假设 L-光滑性的研究。
• 通过信息论论证建立极小最大下界，表明所提算法几乎达到根本极限。

实验结果

研究问题

• RQ1 在强凸性与噪声条件下，高阶光滑性（β ≥ 2）如何影响零阶优化的收敛速率？
• RQ2 在无导数设置下，两点随机梯度估计器结合平滑核能否实现近乎最优的遗憾与优化误差？
• RQ3 为平衡梯度估计中的偏差与方差，最优的步长与平滑参数 hₜ 应如何选取？
• RQ4 维度 d、强凸性参数 α 与噪声水平 σ 如何共同影响收敛的极小最大速率？
• RQ5 所提算法能否在估计最小函数值时实现近乎精确的 oracle 行为？

主要发现

• 所提算法的优化误差满足 $\mathbb{E}[f(\hat{x}_T) - f(x^*)] \leq A_8 \frac{d}{\sqrt{\alpha T}} + A_9 \frac{d^2}{\alpha T}$，其中 A₈ 与 A₉ 为与 d、α、T 无关的常数。
• 累计遗憾满足 $\min(GBT, 2\sqrt{3L}\sigma \frac{d}{\sqrt{\alpha}} \sqrt{T} + \frac{C^* G^2}{2} \frac{d}{\alpha}(1 + \log T))$，显示出对 T 与 d 的近乎最优依赖关系。
• 该算法实现了近乎极小最大最优的收敛速率，其上界与推导出的极小最大下界仅相差对数因子。
• 使用平滑核 K(rₜ) 使得高阶光滑性（β ≥ 2）得以利用，相比仅假设 2-光滑性的方法，实现了更优的收敛性能。
• 所提最小值估计器实现了近乎精确的 oracle 行为，其误差率接近信息论极限。
• 结果通过引入高阶光滑性并为约束与非约束情形提供更紧、参数依赖的上界，推广了先前工作。