[论文解读] A Closer Look at the Worst-case Behavior of Multi-armed Bandit Algorithms

Anand Kalvit, Assaf Zeevi|arXiv (Cornell University)|Jun 3, 2021

Advanced Bandit Algorithms Research参考文献 18被引用 6

一句话总结

本文在最坏情况下的多臂赌博机问题中，对上置信度（UCB）算法进行了严格的分析，重点关注间隙缩放为 $1/\sqrt{n}$ 的小间隙情形。研究证明UCB的臂选择行为在渐近意义上是确定性的，并推导出该过程的扩散极限，从而为 $\mathcal{O}(\sqrt{n\log n})$ 最小最大遗憾提供了新颖的证明，揭示了其与Thompson采样之间的根本差异，例如后者在该情形下存在不完全学习现象。

ABSTRACT

One of the key drivers of complexity in the classical (stochastic) multi-armed bandit (MAB) problem is the difference between mean rewards in the top two arms, also known as the instance gap. The celebrated Upper Confidence Bound (UCB) policy is among the simplest optimism-based MAB algorithms that naturally adapts to this gap: for a horizon of play n, it achieves optimal O(log n) regret in instances with "large" gaps, and a near-optimal O(\sqrt{n log n}) minimax regret when the gap can be arbitrarily "small." This paper provides new results on the arm-sampling behavior of UCB, leading to several important insights. Among these, it is shown that arm-sampling rates under UCB are asymptotically deterministic, regardless of the problem complexity. This discovery facilitates new sharp asymptotics and a novel alternative proof for the O(\sqrt{n log n}) minimax regret of UCB. Furthermore, the paper also provides the first complete process-level characterization of the MAB problem under UCB in the conventional diffusion scaling. Among other things, the "small" gap worst-case lens adopted in this paper also reveals profound distinctions between the behavior of UCB and Thompson Sampling, such as an "incomplete learning" phenomenon characteristic of the latter.

研究动机与目标

• 理解UCB在最坏情况、小间隙情形下（其中最优两臂之间的差距缩放为 $1/\sqrt{n}$）的臂选择行为。
• 在该情形下建立UCB算法的逐过程扩散近似。
• 为UCB的 $\mathcal{O}(\sqrt{n\log n})$ 最小最大遗憾界提供一种新的、替代性的证明。
• 对比UCB与Thompson采样，尤其关注在最坏情况下的学习完整性与采样动态差异。

提出的方法

• 利用Donsker不变原理，证明在小间隙缩放下，臂拉动的经验过程弱收敛于标准布朗运动。
• 引入随机时间变换技术，分析置信区间过程与经验采样比例过程的复合结构。
• 应用连续映射定理，推导出遗憾过程弱收敛于扩散极限。
• 采用扩散标度：时间按 $n$ 归一化，累积奖励过程按 $\sqrt{n}$ 缩放，以捕捉渐近行为。
• 分析渐近采样比例，证明其几乎必然收敛于 $\mathfrak{e}/2$，其中 $\mathfrak{e}$ 表示在两臂上总停留时间的随机变量。
• 利用UCB下臂采样速率在渐近下为确定性、且与问题复杂度无关的性质，推导出精确的渐近表达式。

实验结果

研究问题

• RQ1 在最坏情况、小间隙情形下，UCB的臂选择行为在渐近下如何表现？
• RQ2 在常规缩放下，能否为UCB过程推导出扩散近似？其揭示了关于遗憾动态的哪些信息？
• RQ3 在最小最大情形下，UCB的累积遗憾的精确渐近分布是什么？
• RQ4 在最坏情况、小间隙设置下，UCB的学习行为与Thompson采样有何不同？
• RQ5 能否通过过程级极限定理重新推导出UCB的 $\mathcal{O}(\sqrt{n\log n})$ 最小最大遗憾界？

主要发现

• 在两臂情形下，UCB的臂采样速率在渐近下是确定性的，几乎必然收敛于每个臂的 $\mathfrak{e}/2$，其中 $\mathfrak{e}$ 为两臂总停留时间的随机变量。
• 置信区间与采样比例的联合过程弱收敛于一个包含布朗运动与渐近采样比例的极限。
• 当按 $\sqrt{n}$ 缩放时，累积遗憾过程弱收敛于扩散过程 $\frac{\Delta_0 t}{2} + \sqrt{\frac{\sigma_1^2 + \sigma_2^2}{2}} \tilde{B}(t)$，其中 $\tilde{B}(t)$ 为标准布朗运动。
• 该扩散极限为UCB的 $\mathcal{O}(\sqrt{n\log n})$ 最小最大遗憾界提供了新颖的、替代性的证明。
• Thompson采样在小间隙情形下表现出不完全学习现象，而UCB在极限下能完全学习最优臂。
• 最坏情况下的最小最大遗憾由间隙缩放 $\Delta \asymp 1/\sqrt{n}$ 所刻画，此时区分两臂的统计难度达到峰值。