[论文解读] An optimal algorithm for bandit convex optimization

Elad Hazan, Yuanzhi Li|arXiv (Cornell University)|Mar 14, 2016

Advanced Bandit Algorithms Research参考文献 19被引用 25

一句话总结

本文提出了首个显式且高效的非适应性凸优化Bandit算法，实现了$×{O}(ackslashsqrt{T})$的遗憾，与已知的信息论下界在对数因子范围内匹配。该方法结合了新型在线椭球算法与离散凸几何的新工具，以应对极端部分反馈和对抗性环境。

ABSTRACT

We consider the problem of online convex optimization against an arbitrary adversary with bandit feedback, known as bandit convex optimization. We give the first $ ilde{O}(\sqrt{T})$-regret algorithm for this setting based on a novel application of the ellipsoid method to online learning. This bound is known to be tight up to logarithmic factors. Our analysis introduces new tools in discrete convex geometry.

研究动机与目标

• 弥合已知的$×{O}(\backslashsqrt{T})$遗憾下界与对抗性Bandit凸优化中最佳上界之间的差距。
• 设计一种显式且高效的算法，实现在完整对抗性Bandit凸优化设置下的最优遗憾。
• 提供高概率遗憾保证，且尾部呈指数衰减，确保在实际部署中的鲁棒性。
• 引入离散凸几何的新工具，以支持部分反馈下在线学习的分析。

提出的方法

• 提出一种专为Bandit凸优化设计的新型在线椭球算法变体，支持在有限反馈下对决策集进行迭代优化。
• 引入一种重启机制（RESTART），当累计损失估计值超过阈值时触发，以确保稳定性和收敛性。
• 采用多阶段框架，每个阶段使用损失函数的局部凸近似，且在各阶段间聚合损失估计值。
• 应用改进的EXP3.P算法，结合自适应探索与方差控制，以在各轮中保持对损失估计的置信度。
• 基于点到凸集中心距离之比的几何论证，用于控制损失函数的增长。
• 提出一种新的“相对曲率”概念$\gamma(x, \mathcal{K}_\tau)$，用于量化函数从参考点出发的增长程度，从而实现各阶段间的损失分解。

实验结果

研究问题

• RQ1 是否存在一种显式且高效的算法，可在对抗性Bandit凸优化设置下实现$\tilde{O}(\sqrt{T})$的遗憾？
• RQ2 在完整对抗性BCO问题中，$\tilde{O}(\sqrt{T})$的遗憾界是否紧致？
• RQ3 能否在此设置下实现高概率遗憾保证，且尾部呈指数衰减？
• RQ4 处理对抗环境中部分反馈与凸优化结合时，需要哪些新的几何与算法工具？

主要发现

• 对抗性Bandit凸优化的极小极大遗憾为$\tilde{\Theta}(\sqrt{T})$，确认了该界在对数因子范围内的最优性。
• 所提出的算法以高概率实现$\tilde{O}(\sqrt{T})$的遗憾，具体为：以至少$1 - \delta$的概率，遗憾为$\tilde{O}(\sqrt{T} \log \frac{1}{\delta})$。
• 该算法是首个显式构造的、在对抗性BCO设置下实现最优遗憾的算法，解决了长期悬而未决的开放问题。
• 分析中引入了离散凸几何的新工具，包括一种新颖的“相对曲率”概念$\gamma(x, \mathcal{K}_\tau)$，实现了各阶段间损失函数的精确分解。
• 该算法保证了遗憾的指数衰减尾部，使其在不确定性环境下具备鲁棒性，适合实际部署。
• 遗憾与计算复杂度随维度$d$呈指数依赖，因此仍存在疑问：这种依赖是否可被简化为多项式形式。