[论文解读] Improved Regret Bounds for Projection-free Bandit Convex Optimization

Dan Garber, Ben Kretzu|arXiv (Cornell University)|Jun 3, 2020

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出了一种无投影的带 bandit 凸优化算法，通过仅在期望下调用 $O(T)$ 次线性优化预言机，实现了改进的期望遗憾值 $O(T^{3/4})$。通过利用条件梯度更新和新颖的分析技术，该方法在全信息设置下达到了目前已知的最佳遗憾界，为高维在线学习提供了可扩展的解决方案。

ABSTRACT

We revisit the challenge of designing online algorithms for the bandit convex optimization problem (BCO) which are also scalable to high dimensional problems. Hence, we consider algorithms that are extit{projection-free}, i.e., based on the conditional gradient method whose only access to the feasible decision set, is through a linear optimization oracle (as opposed to other methods which require potentially much more computationally-expensive subprocedures, such as computing Euclidean projections). We present the first such algorithm that attains $O(T^{3/4})$ expected regret using only $O(T)$ overall calls to the linear optimization oracle, in expectation, where $T$ is the number of prediction rounds. This improves over the $O(T^{4/5})$ expected regret bound recently obtained by \cite{Karbasi19}, and actually matches the current best regret bound for projection-free online learning in the extit{full information} setting.

研究动机与目标

• 设计一种可扩展的在线算法，用于带 bandit 凸优化，避免计算成本高昂的投影操作。
• 降低无投影在线学习在 bandit 设置下的遗憾界，该设置比全信息情况更具挑战性。
• 在保持通过线性优化预言机实现计算效率的同时，实现与当前全信息设置下最佳遗憾界相匹配的遗憾界。
• 首次提出一种无投影的带 bandit 凸优化算法，实现 $O(T^{3/4})$ 的期望遗憾和 $O(T)$ 次预言机调用。

提出的方法

• 该算法使用条件梯度方法，仅依赖线性优化预言机而非投影，从而实现对高维问题的可扩展性。
• 提出了一套新颖的分析框架，以控制在仅观测到函数值的 bandit 反馈设置下的遗憾。
• 该方法采用精心设计的探索策略，在利用梯度估计（来自随机 bandit 反馈）的基础上平衡探索与利用。
• 结合了类似对偶平均的更新规则与无投影更新，以在不计算投影的情况下保持可行性。
• 遗憾分析同时考虑了梯度近似中的估计误差和目标函数的曲率。
• 该算法确保预言机调用次数在期望下与时间线性相关，即 $O(T)$，从而保持计算效率。

实验结果

研究问题

• RQ1 无投影的 bandit 凸优化算法能否实现 $O(T^{3/4})$ 的遗憾界？
• RQ2 在 bandit 设置下，是否可能在保持 $O(T)$ 次预言机调用的同时实现该遗憾界？
• RQ3 无投影 bandit 算法的性能与全信息设置下当前最佳结果相比如何？
• RQ4 在无投影条件下，处理 bandit 反馈设置需要哪些新颖的分析技术？
• RQ5 该算法能否仅通过线性优化预言机高效扩展至高维决策集？

主要发现

• 所提出的算法实现了 $O(T^{3/4})$ 的期望遗憾，这是目前无投影 bandit 凸优化中已知的最佳遗憾界。
• 该算法仅进行 $O(T)$ 次期望预言机调用，确保了计算可扩展性。
• 遗憾界与全信息设置下的当前最佳结果一致，填补了无投影方法在 bandit 与全信息设置之间的差距。
• 分析引入了新方法，以在保持无投影特性的同时处理 bandit 反馈下的梯度估计误差。
• 该方法是首个在无投影 bandit 凸优化设置下同时实现 $O(T^{3/4})$ 遗憾和 $O(T)$ 预言机调用的算法。