[论文解读] Upper-Confidence-Bound Algorithms for Active Learning in Multi-Armed Bandits

Alexandra Carpentier, Alessandro Lazaric+4 more|arXiv (Cornell University)|Jul 16, 2015

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出了两种基于上置信度界（UCB）的主动学习算法——CH-AS 和 B-AS——用于多臂老虎机问题，在有限样本预算下实现对各臂均值的均匀良好估计。通过基于经验方差的高概率上界自适应分配样本，两种算法均实现了 $\tilde{O}(n^{-3/2})$ 的遗憾率，其中 B-AS 在高斯假设下对最小最优分配比例 $\lambda_{\min}$ 展现出更优的依赖关系。

ABSTRACT

In this paper, we study the problem of estimating uniformly well the mean values of several distributions given a finite budget of samples. If the variance of the distributions were known, one could design an optimal sampling strategy by collecting a number of independent samples per distribution that is proportional to their variance. However, in the more realistic case where the distributions are not known in advance, one needs to design adaptive sampling strategies in order to select which distribution to sample from according to the previously observed samples. We describe two strategies based on pulling the distributions a number of times that is proportional to a high-probability upper-confidence-bound on their variance (built from previous observed samples) and report a finite-sample performance analysis on the excess estimation error compared to the optimal allocation. We show that the performance of these allocation strategies depends not only on the variances but also on the full shape of the distributions.

研究动机与目标

• 设计自适应采样策略，在有限样本预算下对多个臂的均值实现均匀良好的估计。
• 探究现有算法中 $\lambda_{\min} = \min_k \sigma_k^2 / \sum_j \sigma_j^2$ 的逆依赖关系是否为本质属性，或可避免。
• 开发基于 UCB 的策略，通过更有效地估计方差不确定性来改进样本分配。
• 从相对于最优分配的超额估计误差角度，分析这些策略在有限样本下的性能。
• 确定在何种分布形态下，$\lambda_{\min}$ 的依赖关系可从遗憾界中消除。

提出的方法

• CH-AS 利用 Chernoff-Hoeffding 不等式构建经验方差的上置信界，并按这些界的比例分配样本。
• B-AS 采用比 CH-AS 更紧致的集中不等式，以改进方差估计并提升分配效率。
• 两种算法均基于观测到的经验方差动态调整采样，并维持停止时间条件以确保充分探索。
• 通过将遗憾分解为置信界成立的事件与补事件两部分进行分析，结合尾部概率界和期望不等式。
• 推导出关于均值估计器的期望平方误差与抽样次数倒数之间关系的引理，利用条件期望与独立性性质。
• 利用集中不等式和置信界失效概率的界，推导出理论遗憾界，明确给出常数项和对数依赖关系。

实验结果

研究问题

• RQ1 在主动学习老虎机问题中，对于一般分布，能否消除遗憾界中对 $\lambda_{\min}$ 的逆依赖关系？
• RQ2 在 UCB 构造中使用更紧致的集中不等式，是否能带来更好的有限样本性能并降低遗憾？
• RQ3 $\lambda_{\min}$ 的依赖关系是否为分析方法的产物，还是反映了某些分布形态下问题的内在限制？
• RQ4 在何种分布假设下（如高斯分布），可从遗憾界中去除 $\lambda_{\min}$ 的依赖关系？
• RQ5 所提出的基于 UCB 的策略在估计精度和对异方差性的鲁棒性方面，与现有算法（如 GAFS-MAX）相比如何？

主要发现

• CH-AS 实现了 $\tilde{O}(n^{-3/2})$ 的遗憾界，包含显式常数，且对所有 $n$ 成立，而以往方法需依赖大 $n$。
• B-AS 通过使用更紧致的集中不等式，在 CH-AS 的基础上进一步改进，减少了接近最优分配策略所需的抽样次数。
• B-AS 的遗憾仍表现出对 $\lambda_{\min}$ 的逆依赖关系，这是由于从抽样次数到遗憾的转换所致，表明该依赖关系在一般情况下可能不可避免。
• 对于高斯分布的臂，本文推导出与 $\lambda_{\min}$ 无关的遗憾界，表明该依赖关系具有分布依赖性。
• 实验结果表明，B-AS 和 GAFS-MAX 在高斯臂上表现良好，且无 $\lambda_{\min}$ 依赖，而 CH-AS 展现出该依赖关系，支持理论发现。
• B-AS 的最终遗憾界为 $\leq \frac{105 \times 10^3 \bar{\Sigma}}{n^{3/2}} K^2 (\log n)^2$，其中显式常数由 $c_1 = 2\bar{\Sigma}$ 和 $c_2 = 1$ 推导得出。