[论文解读] MOTS: Minimax Optimal Thompson Sampling

Tianyuan Jin, Pan Xu+3 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Bandit Algorithms Research参考文献 28被引用 8

一句话总结

本文提出MOTS（最小最大最优Thompson采样），一种新型Thompson采样变体，通过基于历史拉动次数自适应地裁剪每条臂的采样实例，实现了多臂Bandit问题的最小最大最优后悔界$O(\sqrt{KT})$，解决了Bandit文献中长期存在的开放问题，并在有限时间与渐近 regime 下均优于先前的Thompson采样变体。

ABSTRACT

Thompson sampling is one of the most widely used algorithms for many online decision problems, due to its simplicity in implementation and superior empirical performance over other state-of-the-art methods. Despite its popularity and empirical success, it has remained an open problem whether Thompson sampling can match the minimax lower bound $Ω(\sqrt{KT})$ for $K$-armed bandit problems, where $T$ is the total time horizon. In this paper, we solve this long open problem by proposing a variant of Thompson sampling called MOTS that adaptively clips the sampling instance of the chosen arm at each time step. We prove that this simple variant of Thompson sampling achieves the minimax optimal regret bound $O(\sqrt{KT})$ for finite time horizon $T$, as well as the asymptotic optimal regret bound for Gaussian rewards when $T$ approaches infinity. To our knowledge, MOTS is the first Thompson sampling type algorithm that achieves the minimax optimality for multi-armed bandit problems.

研究动机与目标

• 解决Thompson采样是否能为$K$-臂Bandit问题实现最小最大最优后悔界$\Omega(\sqrt{KT})$的开放问题。
• 设计一种Thompson采样变体，使其在一般奖励分布下同时实现最小最大最优与渐近最优。
• 证明先前针对高斯先验Thompson采样的下界在非高斯先验下不一定成立。
• 为一种基于裁剪的新机制提供理论保证，该机制在不牺牲简洁性或经验性能的前提下改进了后悔界。

提出的方法

• 提出MOTS，一种基于每条臂被拉动次数自适应裁剪采样奖励值的Thompson采样变体。
• 采用随拉动次数倒数平方根缩放的裁剪阈值，以控制采样方差并防止过度探索。
• 基于次高斯与类似Rayleigh的尾部界提出新颖的分析框架，推导出在一般奖励分布下的后悔界。
• 采用一种称为MOTS-$\mathcal{J}$的变体，使用裁剪后的Rayleigh分布采样值用于高斯奖励场景，以同时实现最小最大与渐近最优。
• 利用$\mathcal{J}$分布的浓度不等式与尾部概率界，在高概率区域控制期望后悔。
• 通过将后悔分解为有限与无限时间 horizon 两部分，仔细处理采样概率间隙，推导出后悔界。

实验结果

研究问题

• RQ1 能否修改Thompson采样以在有限时间多臂Bandit问题中实现最小最大最优后悔界$O(\sqrt{KT})$？
• RQ2 使用非高斯先验是否会使得先前为高斯先验Thompson采样建立的$\Omega(\sqrt{KT\log K})$下界不再成立？
• RQ3 能否设计一种单一算法在多臂Bandit设置中同时实现最小最大与渐近最优？
• RQ4 自适应裁剪对采样分布及Thompson采样中最终后悔的影响是什么？

主要发现

• MOTS实现了$O(\sqrt{KT})$的问题无关后悔界，与$K$-臂Bandit问题的最小最大下界$\Omega(\sqrt{KT})$相匹配。
• 对于高斯奖励，MOTS-$\mathcal{J}$变体同时实现了最小最大最优后悔与渐近最优，优于先前结果。
• 当使用非高斯先验时，高斯先验Thompson采样所建立的$\Omega(\sqrt{KT\log K})$下界在一般情况下不再成立。
• 所提出的裁剪机制有效控制了采样方差并防止了过度探索，从而得到了更紧的后悔界。
• 实验结果表明，MOTS在性能上优于当前最先进的算法，包括UCB、MOSS以及使用高斯先验的标准Thompson采样。
• 理论分析确认，该裁剪策略在有限时间与渐近 regime 下均能实现常数因子最优的后悔界。