[论文解读] Learning the distribution with largest mean: two bandit frameworks

Emilie Kaufmann, Aurélien Garivier|Springer Link (Chiba Institute of Technology)|Jan 31, 2017

Advanced Bandit Algorithms Research参考文献 42被引用 7

一句话总结

本文比较了两种多臂赌博机框架——损失最小化与最优臂识别——以学习均值最高的分布。文章提出了渐近最优的算法（kl-UCB 与 Track-and-Stop），并表明它们的采样策略与复杂度度量存在根本性差异：损失最小化侧重于利用最优臂，而最优臂识别则通过平衡探索以实现对最优臂的快速、可信识别。

ABSTRACT

Over the past few years, the multi-armed bandit model has become increasingly popular in the machine learning community, partly because of applications including online content optimization. This paper reviews two different sequential learning tasks that have been considered in the bandit literature ; they can be formulated as (sequentially) learning which distribution has the highest mean among a set of distributions, with some constraints on the learning process. For both of them (regret minimization and best arm identification) we present recent, asymptotically optimal algorithms. We compare the behaviors of the sampling rule of each algorithm as well as the complexity terms associated to each problem.

研究动机与目标

• 比较多臂赌博机中两种顺序学习框架：损失最小化与最优臂识别。
• 分析两种框架下算法的渐近最优性，重点关注采样规则与复杂度项。
• 对比采样策略的行为，特别是损失最小化框架下的 kl-UCB 与最优臂识别框架下的 Track-and-Stop，从抽样比例与置信区间角度进行分析。
• 考察每类问题的信息论复杂度度量，表明尽管两者目标均为识别均值最高的臂，其结构却截然不同。
• 评估损失与识别时间之间的权衡，尤其在 Explore-Then-Commit 框架下的表现。

提出的方法

• 使用具有 K 个臂的多臂赌博机模型，每个臂 a 关联分布 ν^a 与均值 μ_a。
• 在损失最小化中应用 kl-UCB 算法，该算法基于 Kullback-Leibler 散度计算置信上界，以平衡探索与利用。
• 在最优臂识别中采用 Track-and-Stop 算法，该算法动态调整抽样比例，以收敛至最小化识别时间的最优抽样分布 w*(μ)。
• 通过渐近分析研究两种算法，推导出损失与期望停止时间的极限形式，其表达式依赖于臂分布之间的 KL 散度。
• 通过模拟比较两种算法的采样规则，可视化在两种算法下各臂的抽样次数与置信区间。
• 将最优臂识别的复杂度项 T*(μ) 定义为一个涉及 KL 散度的凸优化问题的解，并与损失最小化中涉及次优臂的 μ*-μ_a 之和的复杂度项进行比较。

实验结果

研究问题

• RQ1 损失最小化与最优臂识别算法的采样策略在各臂抽样分配上存在何种差异？
• RQ2 损失最小化与最优臂识别的相应渐近复杂度项是什么？它们与臂分布之间 KL 散度的关系如何？
• RQ3 最优臂识别工具能否有效应用于损失最小化策略中，例如在 Explore-Then-Commit 框架中？
• RQ4 为何使用固定置信度识别的 Explore-Then-Commit 策略的损失至少是渐近最优损失最小化算法（如 kl-UCB）的两倍？
• RQ5 Track-and-Stop 是否能获得有限时间保证，还是其分析仅限于渐近最优性？

主要发现

• 损失最小化框架下的 kl-UCB 算法将最优臂抽样 O(T) 次，次优臂抽样 o(log T) 次，从而确保累积损失较低。
• 最优臂识别框架下的 Track-and-Stop 算法确保经验抽样比例收敛至 w*(μ)，该向量所有分量均为正，从而实现快速且可信的最优臂识别。
• 一致高效策略的渐近损失满足 lim_{T→∞} R_μ^π(T)/log T = ∑_{a:μ_a<μ*} (μ*-μ_a)/d(μ_a,μ*)，其中 d 为 KL 散度。
• 最优 PAC 策略在最优臂识别中的期望停止时间满足 lim_{δ→0} E_μ[τ_δ]/log(1/δ) = T*(μ)，其中 T*(μ) 为基于 KL 散度的优化问题的解。
• 采用 δ=1/T 的最优臂识别方法的 Explore-Then-Commit 策略，其损失至少是 kl-UCB 的两倍，揭示了根本性的性能差距。
• 尽管 Track-and-Stop 具有渐近最优性，但其缺乏有限时间分析，且实现复杂度高于损失最小化算法（如 kl-UCB）。