[论文解读] An Optimal Algorithm for Bandit and Zero-Order Convex Optimization with Two-Point Feedback

Ohad Shamir|arXiv (Cornell University)|Jul 31, 2015

Advanced Bandit Algorithms Research参考文献 6被引用 23

一句话总结

本文提出了一种简单且最优的算法，用于带bandit和零阶凸优化的两点反馈场景，采用对称梯度估计器，相较于先前方法显著改善了方差控制。该算法在欧几里得与非欧几里得设置下，对光滑与非光滑凸函数均实现了最优的遗憾界，填补了先前工作中留下的空白，同时简化了分析过程，保持了强大的理论保证。

ABSTRACT

We consider the closely related problems of bandit convex optimization with two-point feedback, and zero-order stochastic convex optimization with two function evaluations per round. We provide a simple algorithm and analysis which is optimal for convex Lipschitz functions. This improves on \cite{dujww13}, which only provides an optimal result for smooth functions; Moreover, the algorithm and analysis are simpler, and readily extend to non-Euclidean problems. The algorithm is based on a small but surprisingly powerful modification of the gradient estimator.

研究动机与目标

• 开发一种简单且最优的bandit凸优化算法，适用于两点反馈场景，可处理光滑与非光滑函数。
• 弥合两点反馈模型下光滑与非光滑设置中最优遗憾界之间的差距。
• 将算法与分析扩展至非欧几里得设置（如1-范数），同时保持最优性损失最小。
• 相较于先前工作，简化分析过程，特别是避免使用[4]中针对非光滑函数所采用的复杂平滑技术。
• 提供一个统一的框架，适用于bandit优化与零阶随机优化，每轮仅需两次函数评估。

提出的方法

• 该算法使用对称的两点梯度估计器：在点 w - δu 和 w + δu 处查询函数，然后计算 (d/(2δ)) * (f(w + δu) - f(w - δu)) * u，其中 u 为随机单位向量。
• 该估计器的期望与标准单点差分估计器相同，但在高维空间中，尤其对于非光滑函数，其方差显著更低。
• 该方法与镜像下降或在线凸优化框架相结合，通过精心选择的步长 η 平衡遗憾与梯度方差。
• 分析过程利用了集中不等式，并对函数值的四阶矩进行有界性控制，依赖于随机方向 u 的对偶范数有界性。
• 关键技术组件是使用对偶范数条件：E[||u||_*^4] ≤ p_*，该条件控制了梯度估计器的方差。
• 该算法被证明在凸Lipschitz函数下实现最优的遗憾界 O(√(dT))，与已知的下界一致。

实验结果

研究问题

• RQ1 能否设计一种简单算法，在两点反馈的bandit凸优化设置下，对光滑与非光滑凸函数均实现最优遗憾？
• RQ2 在高维空间中，对称两点梯度估计器是否相比非对称估计器具有更优的方差控制能力，尤其在非光滑函数场景下？
• RQ3 能否简化分析并将其扩展至非欧几里得几何，如1-范数设置？
• RQ4 是否可能在不使用复杂平滑技术的前提下，实现对非光滑函数的最优遗憾？
• RQ5 在非欧几里得设置下，该算法的性能如何随维度 d 变化？

主要发现

• 所提出的算法在欧几里得与非欧几里得设置下，对凸Lipschitz函数均实现了最优的遗憾界 O(√(dT))，与已知下界一致。
• 在1-范数设置下，该算法的遗憾控制在最优值的 √(log d) 因子内，展现出强大的可扩展性。
• 对称梯度估计器相比先前的单点估计器显著降低了方差，尤其在非光滑函数场景下，从而提升了收敛性能。
• 分析过程相较于先前工作（如[4]）显著简化，后者需使用复杂的平滑技术并在维度上引入对数因子。
• 该算法可直接应用于零阶随机优化，其相同的遗憾保证可转化为优化误差界。
• 该方法在维度 d 和函数参数上实现了最优依赖关系，未引入额外的对数或维度惩罚项。