[论文解读] Corralling a Band of Bandit Algorithms

Alekh Agarwal, Haipeng Luo+2 more|arXiv (Cornell University)|Dec 19, 2016

Advanced Bandit Algorithms Research参考文献 18被引用 7

一句话总结

本文提出了 Corral，一种主算法，通过结合多个Bandit算法，在独立运行时实现与最佳基础算法相当的遗憾。通过使用具有自适应学习率的新型Log-Barrier-OMD框架，Corral确保对表现较差但潜在更优的基础算法持续探索，在多臂、上下文和凸Bandit设置中实现O(√T)的遗憾。

ABSTRACT

We study the problem of combining multiple bandit algorithms (that is, online learning algorithms with partial feedback) with the goal of creating a master algorithm that performs almost as well as the best base algorithm if it were to be run on its own. The main challenge is that when run with a master, base algorithms unavoidably receive much less feedback and it is thus critical that the master not starve a base algorithm that might perform uncompetitively initially but would eventually outperform others if given enough feedback. We address this difficulty by devising a version of Online Mirror Descent with a special mirror map together with a sophisticated learning rate scheme. We show that this approach manages to achieve a more delicate balance between exploiting and exploring base algorithms than previous works yielding superior regret bounds. Our results are applicable to many settings, such as multi-armed bandits, contextual bandits, and convex bandits. As examples, we present two main applications. The first is to create an algorithm that enjoys worst-case robustness while at the same time performing much better when the environment is relatively easy. The second is to create an algorithm that works simultaneously under different assumptions of the environment, such as different priors or different loss structures.

研究动机与目标

• 设计一种主算法，即使基础算法具有状态依赖性且需要持续反馈才能达到最优性能，也能近乎达到最佳基础Bandit算法的性能。
• 克服集成Bandit学习中的饥饿问题，即因反馈不足而忽略初始表现较差但最终表现更优的基础算法。
• 在主算法仅能部分反馈给基础算法的设定下，实现与最佳基础算法相同的遗憾界（例如O(√T)）。
• 在无需事先了解数据模式的情况下，适应多样化环境（如i.i.d.或对抗性数据）并实现自适应性能。
• 通过动态选择最合适的基算法，支持在多种假设下（如不同先验或损失结构）同时运行。

提出的方法

• 提出一种新颖的主算法Corral，基于在线镜像下降（OMD）方法，采用对数障碍镜像映射ψ(p) = −∑(1/η_t,i) ln p_i，确保1/p_t,i线性增长，防止极端加权。
• 引入非递减的自适应学习率调度η_t,i，当基算法i的反馈概率较低时增加，以促进对表现较差但潜力较强的基算法的探索。
• 使用平滑采样分布p̄_t = (1−ε)p_t + ε/M，防止极端概率，避免基算法过早被忽略。
• 对时间t选择的基算法i使用无偏损失估计器ℓ_t,i = f_t(θ_t,x_t)/p̄_t,i，确保梯度更新的一致性。
• 推导遗憾分解，关键项∑_t (1/η_{t+1,i} − 1/η_{t,i}) / p̄_{t+1,i}为非正且可通过自适应学习率控制，从而实现紧致的遗憾界。
• 将该方法应用于多臂、上下文和凸Bandit设置，证明其在Bandit框架中的通用性。

实验结果

研究问题

• RQ1 能否设计一种主算法，即使基础算法具有状态依赖性且需要持续反馈才能提升，也能实现与最佳基础Bandit算法相当的遗憾？
• RQ2 如何设计主算法，防止初始表现较差但最终表现更优的基算法因反馈不足而被忽略？
• RQ3 当基础算法在独立运行时具有O(√T)遗憾，主算法是否仍能在反馈受限的条件下实现O(√T)遗憾？
• RQ4 何种镜像映射与学习率调度可同时实现强利用与持续探索，以支持集成Bandit学习？
• RQ5 主算法是否能无需事先知晓数据结构，自适应地在多样化环境（如i.i.d.与对抗性环境）中表现良好？

主要发现

• 所提出的Corral算法在主算法中实现O(√T)遗憾，当最佳基础算法具有O(√T)遗憾时，解决了集成Bandit学习中的一个开放问题。
• 使用对数障碍镜像映射可确保1/p_t,i随累积损失线性增长，最小化极端加权，防止算法被忽略。
• 自适应学习率调度η_t,i在反馈概率较低时增加，使对表现较差但潜力较强的基算法的探索更加积极和有针对性。
• 平滑采样分布p̄_t可防止对高概率基算法的过度集中，提升算法的鲁棒性与稳定性。
• 该算法适用于多臂Bandit、上下文Bandit和凸Bandit，展现出广泛的通用性与坚实的理论保证。
• 遗憾分析表明，关键项∑_t (1/η_{t+1,i} − 1/η_{t,i}) / p̄_{t+1,i}为非正且可控制，这对实现最优遗憾界至关重要。