[论文解读] Are sample means in multi-armed bandits positively or negatively biased?

Jaehyeok Shin, Aaditya Ramdas+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Bandit Algorithms Research参考文献 23被引用 12

一句话总结

本文通过解耦采样、停止和选择三个自适应来源，分析了随机多臂赌博机中样本均值的选择偏差。它引入了‘乐观性’的形式化概念，表明乐观采样导致负偏差，而乐观停止和选择均导致正偏差——为理解自适应实验中的净偏差提供了一个统一框架。

ABSTRACT

It is well known that in stochastic multi-armed bandits (MAB), the sample mean of an arm is typically not an unbiased estimator of its true mean. In this paper, we decouple three different sources of this selection bias: adaptive \emph{sampling} of arms, adaptive \emph{stopping} of the experiment, and adaptively \emph{choosing} which arm to study. Through a new notion called ``optimism'' that captures certain natural monotonic behaviors of algorithms, we provide a clean and unified analysis of how optimistic rules affect the sign of the bias. The main takeaway message is that optimistic sampling induces a negative bias, but optimistic stopping and optimistic choosing both induce a positive bias. These results are derived in a general stochastic MAB setup that is entirely agnostic to the final aim of the experiment (regret minimization or best-arm identification or anything else). We provide examples of optimistic rules of each type, demonstrate that simulations confirm our theoretical predictions, and pose some natural but hard open problems.

研究动机与目标

• 理解在多臂赌博机中自适应收集数据时样本均值的选择偏差符号。
• 解耦三种自适应机制（自适应采样、自适应停止、自适应选择）的贡献。
• 形式化并分析‘乐观性’——一种算法中的单调行为——对偏差方向的影响。
• 纠正先前研究中仅考虑固定臂、固定时间偏差的误解，这些研究仅关注自适应采样下的偏差。
• 提供一个通用的、与分布无关的框架，适用于任何MAB目标（例如，最小化遗憾、最佳臂识别）。

提出的方法

• 引入‘乐观性’的新形式化定义，作为对采样、停止和选择规则的单调性条件。
• 使用协方差推导一般偏差分解：$\mathbb{E}[\widehat{\mu}_k - \mu_k] = -\frac{\mathrm{Cov}(\widehat{\mu}_k, N_k)}{\mathbb{E}[N_k]}$。
• 将偏差分解应用于根据每个自适应组件的乐观性对偏差符号进行分类。
• 通过理论分析证明：乐观采样导致负偏差，而乐观停止和选择导致正偏差。
• 通过模拟验证结果，使用贪心法、UCB和Thompson采样算法，以及高斯臂进行实验。
• 采用具有自适应停止和选择的顺序过程，展示在最佳臂识别中存在正偏差。

实验结果

研究问题

• RQ1 在多臂赌博机中使用自适应采样时，样本均值的偏差符号是什么？
• RQ2 自适应停止和自适应选择规则如何影响样本均值估计的偏差？
• RQ3 能否通过统一框架解释当所有三种自适应机制同时存在时的净偏差？
• RQ4 为何仅关注自适应采样而忽略其他机制的先前结果无法在实践中捕捉完整的偏差图景？
• RQ5 在何种条件下，乐观采样、停止或选择会导致正偏差或负偏差？

主要发现

• 乐观采样规则——如UCB、Thompson采样和贪心法——会导致任意臂样本均值的负偏差。
• 乐观停止和选择规则均导致正偏差，这在用于最佳臂识别的顺序过程中通过模拟得到验证。
• lil’UCB算法结合了乐观采样、停止和选择，由于停止和选择带来的正偏差占主导，表现出净正偏差。
• 模拟结果证实，对于三个方差为1的高斯臂，其均值分别为1、2和3时，贪心采样在所有臂上均导致负偏差。
• 在均值为$g$、0和$-g$的臂中进行最佳臂识别时，停止时刻的最大样本均值对所有间隙大小$g=1,3,5$均呈现正偏差。
• 在自适应赌博机设置中，净偏差可能为正或负，具体取决于乐观采样、停止和选择规则之间的平衡。