[论文解读] Crush Optimism with Pessimism: Structured Bandits Beyond Asymptotic Optimality

Kwang-Sung Jun, Chicheng Zhang|arXiv (Cornell University)|Jun 15, 2020

Advanced Bandit Algorithms Research参考文献 36被引用 5

一句话总结

本文提出 CROP（Crush Optimism with Pessimism），一种新型结构化 bandit 算法，可在无需强制探索的情况下实现渐近实例相关 regret 最优性，从而在可能时实现有界 regret。通过使用悲观假设来指导对乐观假设的剔除，CROP 实现了与有效臂数 $K_{\rho}$ 而非全部 $K$ 成比例的 regret，从而提升了有限时间性能，并能自适应于简单实例。

ABSTRACT

We study stochastic structured bandits for minimizing regret. The fact that the popular optimistic algorithms do not achieve the asymptotic instance-dependent regret optimality (asymptotic optimality for short) has recently alluded researchers. On the other hand, it is known that one can achieve bounded regret (i.e., does not grow indefinitely with $n$) in certain instances. Unfortunately, existing asymptotically optimal algorithms rely on forced sampling that introduces an $ω(1)$ term w.r.t. the time horizon $n$ in their regret, failing to adapt to the "easiness" of the instance. In this paper, we focus on the finite hypothesis case and ask if one can achieve the asymptotic optimality while enjoying bounded regret whenever possible. We provide a positive answer by introducing a new algorithm called CRush Optimism with Pessimism (CROP) that eliminates optimistic hypotheses by pulling the informative arms indicated by a pessimistic hypothesis. Our finite-time analysis shows that CROP $(i)$ achieves a constant-factor asymptotic optimality and, thanks to the forced-exploration-free design, $(ii)$ adapts to bounded regret, and $(iii)$ its regret bound scales not with $K$ but with an effective number of arms $K_ψ$ that we introduce. We also discuss a problem class where CROP can be exponentially better than existing algorithms in extit{nonasymptotic} regimes. This problem class also reveals a surprising fact that even a clairvoyant oracle who plays according to the asymptotically optimal arm pull scheme may suffer a linear worst-case regret.

研究动机与目标

• 为解决现有渐近最优 bandit 算法依赖强制采样所导致的 $\omega(1)$ regret 项问题，该问题会阻止在简单实例中实现有界 regret。
• 开发一种 bandit 算法，能够同时实现渐近实例相关最优性，并在问题实例允许时自适应实现有界 regret。
• 通过引入捕捉结构稀疏性的有效臂数 $K_{\rho}$，消除 regret 上界对完整臂数 $K$ 的依赖。
• 证明即使在渐近最优性未被实现时，基于乐观的算法仍可能具有可行性，因为一个全知预言机在最坏情况下仍可能遭遇线性 regret。

提出的方法

• CROP 使用悲观假设来识别并剔除那些在悲观置信区间下不一致的乐观假设，通过选择对悲观估计最具信息量的臂进行采样。
• 该算法动态维护一组候选假设，并基于悲观置信区间剔除与观测奖励不一致的假设。
• 其采用基于置信区间的剔除策略，通过依赖统计分歧（KL 散度）来评估假设的一致性，从而避免强制采样。
• regret 分析引入了一个新的有效臂数 $K_{\rho}$，用于量化在最优分配下具有信息量的臂的数量，从而降低对 $K$ 的依赖。
• 该算法利用基于 KL 散度和指数倾斜的新型下界论证，建立结构化 bandit 中 regret 的根本限制。
• 关键技术组件是使用朗伯 W 函数来反转 regret 分析中涉及指数与对数项的边界。

实验结果

研究问题

• RQ1 是否存在一种算法，既能实现渐近实例相关 regret 最优性，又能自适应于在简单实例中实现有界 regret？
• RQ2 现有渐近最优算法中强制采样的使用是否必然导致 $\omega(1)$ regret？能否避免此问题？
• RQ3 是否可使 regret 上界按有效臂数 $K_{\rho}$ 而非完整臂数 $K$ 刻画，尤其在具有稀疏信息臂的结构化 bandit 中？
• RQ4 基于乐观的算法是否存在根本性局限？即使未能实现渐近最优性，它们是否仍能在最坏情况下保持最优？
• RQ5 假设空间的结构在实现有界 regret 中起到何种作用？如何在不强制探索的前提下加以利用？

主要发现

• CROP 实现了渐近实例相关 regret 最优性，其 regret 上界与 $c(f)\ln n$ 下界仅相差一个常数因子。
• 当最优假设仅包含一个信息臂时，CROP 可在无需强制采样的情况下实现有界 regret。
• CROP 的 regret 上界按 $K_{\rho}$（信息臂的有效数量）而非总臂数 $K$ 刻画，显著提升了有限时间性能。
• 在非渐近区域，CROP 在结构化设置中（尤其当信息臂稀疏时）可比现有算法（如 OSSB 和 OAM）实现指数级更优的性能。
• 分析表明，即使使用最优臂分配方案的全知预言机，在最坏情况下仍可能遭遇线性 regret，这挑战了渐近最优性是最终目标的假设。
• 下界分析确认了 $\ln n$ 的缩放是根本性的，任何实现次对数 regret 的算法必须依赖于结构稀疏性。