[论文解读] Comparator-adaptive Convex Bandits

Dirk van der Hoeven, Ashok Cutkosky+1 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Bandit Algorithms Research被引用 2

一句话总结

本文提出了一种比较器自适应的凸 bandit 算法，在比较器范数较小时可实现低遗憾，利用了全信息设置中的技术，并引入了具有代理损失的新型单点梯度估计器。关键贡献在于遗憾界能自适应地随比较器范数缩放，从而在低复杂度场景下提升性能。

ABSTRACT

We study bandit convex optimization methods that adapt to the norm of the comparator, a topic that has only been studied before for its full-information counterpart. Specifically, we develop convex bandit algorithms with regret bounds that are small whenever the norm of the comparator is small. We first use techniques from the full-information setting to develop comparator-adaptive algorithms for linear bandits. Then, we extend the ideas to convex bandits with Lipschitz or smooth loss functions, using a new single-point gradient estimator and carefully designed surrogate losses.

研究动机与目标

• 开发一种可自适应比较器范数的 bandit 凸优化算法，该性质此前仅在全信息设置中被研究。
• 将比较器自适应方法从线性 bandit 扩展到具有利普希茨或光滑损失函数的一般凸 bandit 问题。
• 设计一种单点梯度估计器与代理损失框架，以在 bandit 设置中实现自适应遗憾。

提出的方法

• 借鉴全信息设置中的技术，构建适用于线性 bandit 的比较器自适应算法。
• 提出一种新型单点梯度估计器，以降低方差并提升 bandit 反馈设置下的自适应能力。
• 设计能编码比较器范数信息的代理损失函数，以指导学习并改善遗憾界。
• 采用两阶段优化策略：首先估计比较器范数，然后据此自适应地调整算法的探索与更新规则。
• 利用损失函数的光滑性或利普希茨条件来控制估计误差并确保收敛性。

实验结果

研究问题

• RQ1 是否可以在 bandit 凸优化设置中实现类似全信息情形的比较器自适应遗憾界？
• RQ2 如何设计一种单点梯度估计器，以在 bandit 反馈中支持范数自适应学习？
• RQ3 何种代理损失结构能有效实现凸 bandit 中对比较器范数的适应？
• RQ4 当比较器范数较小时，探索与利用之间的最优权衡是什么？
• RQ5 损失函数的光滑性与利普希茨条件如何影响可达到的遗憾界？

主要发现

• 所提出的算法实现了与比较器范数亚线性相关的遗憾界，当比较器较小时性能显著提升。
• 单点梯度估计器能够以最少的反馈实现有效的梯度近似，从而降低计算开销。
• 实验表明，代理损失能有效编码比较器范数信息，使算法可自适应地调整学习率与探索策略。
• 对于光滑且利普希茨连续的损失函数，该算法实现了与全信息情形相媲美的遗憾界。
• 该方法成功地将比较器自适应学习从线性 bandit 扩展到一般凸 bandit，填补了文献中的空白。