[论文解读] Improved Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandit

Vasilii Novitskii, Alexander Gasnikov|arXiv (Cornell University)|Jan 11, 2021

Advanced Bandit Algorithms Research参考文献 11被引用 5

一句话总结

该论文通过在单点bandit设置中引入基于核的梯度估计器，改进了具有高阶光滑性（β > 2）的强凸和凸函数的零阶随机优化。其预期优化误差的收敛速率提升至 $ ilde{ olimits} olimitsigl(rac{n^{2 - rac{1}{eta}}}{ olimits gamma N^{rac{eta-1}{eta}}}igr)$，相较于先前工作将维度依赖性从 $n^2$ 降低至 $n^{2 - rac{1}{eta}}$，实现了更快的收敛速度。

ABSTRACT

We consider $β$-smooth (satisfies the generalized Holder condition with parameter $β> 2$) stochastic convex optimization problem with zero-order one-point oracle. The best known result was arXiv:2006.07862: $\mathbb{E} \left[f(\overline{x}_N) - f(x^*) ight] = ilde{\mathcal{O}} \left(\dfrac{n^{2}}{γN^{\frac{β-1}β}} ight)$ in $γ$-strongly convex case, where $n$ is the dimension. In this paper we improve this bound: $\mathbb{E} \left[f(\overline{x}_N) - f(x^*) ight] = ilde{\mathcal{O}} \left(\dfrac{n^{2-\frac{1}β}}{γN^{\frac{β-1}β}} ight).$

研究动机与目标

• 填补在存在高阶光滑性（β > 2）但仅通过零阶、单点oracle访问时，无导数优化中的研究空白。
• 在对抗性噪声和强凸性存在的情况下，改进随机投影梯度方法的收敛速率。
• 通过基于核平滑的高阶光滑性利用，将优化误差界中的维度依赖性从 $n^2$ 降低至 $n^{2 - \frac{1}{\beta}}$。
• 在凸和强凸设置下，为达到给定的优化误差 $\varepsilon$ 建立更紧的迭代复杂度边界。

提出的方法

• 提出一种基于核梯度估计器 $\widetilde{g}_k = \frac{n}{2\tau_k}(y_k - y_k')e_kK(r_k)$ 的单点随机投影梯度算法，其中 $y_k, y_k'$ 是在 $x_k \pm \tau_k r_k e_k$ 处的带噪声函数值。
• 采用受Polyak和Tsybakov（1990）启发的核平滑方法，以利用高阶光滑性，实现在 $\beta > 2$ 的广义Hölder条件下的更优梯度逼近。
• 使用在单位球面上均匀分布的随机方向 $e_k$ 和随机缩放 $r_k \in [-1,1]$，以确保梯度估计的无偏性。
• 应用正则化技术 $f_\gamma(x) = f(x) + \frac{\gamma}{2}\|x - x_0\|^2$ 处理凸情况，并通过正则化最小化器推导收敛保证。
• 在对抗性噪声和广义Hölder光滑性（参数 $\beta > 2$）假设下，推导预期优化误差的上界。
• 通过平衡近似误差和方差项，建立迭代复杂度边界，从而在 $n$、$\gamma$ 和 $\beta$ 上实现更优的依赖关系。

实验结果

研究问题

• RQ1 在仅具有单点bandit反馈的零阶随机优化中，高阶光滑性（β > 2）能否被有效利用？
• RQ2 收敛速率对维度 $n$、迭代次数 $N$、强凸性参数 $\gamma$ 和光滑性参数 $\beta$ 的最优依赖关系是什么？
• RQ3 当存在高阶光滑性时，误差界中的维度依赖性是否可以超越 $n^2$？
• RQ4 所提出的基于核的梯度估计器与现有方法相比，在收敛速率和迭代复杂度方面表现如何？
• RQ5 在凸情况下，是否可通过正则化和核平滑实现 $\varepsilon$-精度，并在 $n$ 和 $\gamma$ 上获得更优的依赖关系？

主要发现

• 在强凸情况下，预期优化误差被限制为 $\mathbb{E}[f(\overline{x}_N) - f(x^*)] = \tilde{\mathcal{O}}\left(\frac{n^{2 - \frac{1}{\beta}}}{\gamma N^{\frac{\beta-1}{\beta}}}\right)$，优于先前的 $\tilde{\mathcal{O}}\left(\frac{n^2}{\gamma N^{\frac{\beta-1}{\beta}}}\right)$。
• 在凸情况下，达到 $\varepsilon$-精度的迭代复杂度为 $N(\varepsilon) = \tilde{\mathcal{O}}\left(\frac{n^{2 + \frac{1}{\beta-1}}}{\varepsilon^{2 + \frac{2}{\beta-1}}}\right)$，相较于先前工作具有更优的维度依赖性。
• 所提方法实现了 $n^{2 - \frac{1}{\beta}}$ 的维度依赖性，而非 $n^2$，表明高阶光滑性可降低零阶优化中维度的影响。
• 数值实验表明，当 $\beta = 3$ 和 $\beta = 5$ 时，该算法优于未利用高阶光滑性的方法，包括 $\beta = 2$ 时的Akhavan方法。
• 该方法在对抗性噪声下保持鲁棒性，并在噪声具有非零均值时仍能实现更优的收敛速率，尽管大偏差界限仍是开放问题。
• 分析表明，通过调节 $\tau_k$，可有效管理基于核的梯度估计器中近似误差与方差之间的权衡，从而实现更快收敛。