[论文解读] lil' UCB : An Optimal Exploration Algorithm for Multi-Armed Bandits

Kevin Jamieson, Matthew Malloy+2 more|arXiv (Cornell University)|Dec 27, 2013

Advanced Bandit Algorithms Research参考文献 4被引用 59

一句话总结

本文提出 lil'UCB，一种新型的上置信界（Upper Confidence Bound, UCB）算法，用于在固定置信度设置下解决随机多臂赌博机的最佳臂识别问题。通过利用大样本版本的迭代对数定律（Law of the Iterated Logarithm, LIL）构造置信区间，并采用一种新颖的停止时间机制以避免对各臂的联合界（union bounds）问题，lil'UCB 在样本复杂度上达到最优，仅相差常数因子，与基于 LIL 推导出的理论下界完全一致。

ABSTRACT

The paper proposes a novel upper confidence bound (UCB) procedure for identifying the arm with the largest mean in a multi-armed bandit game in the fixed confidence setting using a small number of total samples. The procedure cannot be improved in the sense that the number of samples required to identify the best arm is within a constant factor of a lower bound based on the law of the iterated logarithm (LIL). Inspired by the LIL, we construct our confidence bounds to explicitly account for the infinite time horizon of the algorithm. In addition, by using a novel stopping time for the algorithm we avoid a union bound over the arms that has been observed in other UCB-type algorithms. We prove that the algorithm is optimal up to constants and also show through simulations that it provides superior performance with respect to the state-of-the-art.

研究动机与目标

• 在固定置信度设置下，开发一种最佳臂识别算法，实现仅相差常数因子的最优样本复杂度。
• 解决现有 UCB 类算法在置信区间中引入不必要的对数或联合界惩罚的问题。
• 设计一种避免对各臂使用朴素联合界的停止准则，从而实现更紧密的、与间隙大小相关的置信区间。
• 通过实验验证，该算法在停止时间与任意时间性能方面均优于当前最先进方法。
• 证明由 LIL 预测的样本复杂度中双重对数因子是不可避免的，并且可被实际算法实现。

提出的方法

• 该算法使用大样本版本的迭代对数定律（LIL）构造置信区间，使其随 √(2t log log t) 变化，明确考虑了无限时间范围的影响。
• 提出一种新颖的停止时间机制，避免对各臂使用联合界，从而实现依赖于臂间差距的更紧密置信区间。
• 置信区间通过子高斯尾部界构造，其尺度参数由 LIL 推导得出，确保随时间推移的高概率覆盖。
• 算法基于从 LIL 衍生的上置信界动态选择臂，优先选择差距更大且不确定性更高的臂。
• 引入一种启发式变体 lil'UCB Heuristic，用于实际应用，虽不保证理论性能，但表现出强大的实验性能。
• 分析过程避免使用‘加倍技巧’（doubling trick）和对各臂的联合界，从而获得更优的常数因子与更紧的样本复杂度界。

实验结果

研究问题

• RQ1 基于 UCB 的算法是否能在固定置信度的最佳臂识别问题中实现最优样本复杂度，与由迭代对数定律导出的下界完全一致？
• RQ2 能否设计一种停止准则，避免对各臂使用联合界，同时仍能保证高概率正确性？
• RQ3 由 LIL 预测的样本复杂度中的双重对数因子是否既必要又可在实际中实现？
• RQ4 与标准 UCB 置信区间相比，基于 LIL 的置信区间在实验停止时间和任意时间性能方面表现如何？
• RQ5 一种实用的启发式版本是否能在无理论保证的情况下仍保持高性能？

主要发现

• lil'UCB 在仅相差常数因子的意义下实现了最优样本复杂度，与由迭代对数定律导出的理论下界 ∑ᵢ Δᵢ⁻² log log Δᵢ⁻² 完全匹配。
• 该算法避免了对各臂使用联合界，消除了许多 UCB 类算法中常见的 log(n) 惩罚。
• 模拟实验表明，lil'UCB 在停止时间方面显著优于逐次消除法（successive elimination）与指数间隙消除法（exponential-gap elimination），尤其在稀疏且困难的问题实例中表现更优。
• 在任意时间性能方面，lil'UCB 与 UCB1+LS 的表现至少是逐次消除法的两倍，能更快速地识别出最佳臂。
• 尽管 lil'UCB Heuristic 变体缺乏理论保证，但在数万次实验中从未失败识别出最佳臂，且在停止时间与任意时间性能方面均优于所有其他算法。
• LIL 停止准则对标准 lil'UCB 的性能有显著正向影响，但对启发式变体影响甚微，表明该启发式方法已能有效捕捉核心行为特征。