[论文解读] An optimal algorithm for the Thresholding Bandit Problem

Andrea Locatelli, Maurilio Gutzeit+1 more|arXiv (Cornell University)|May 27, 2016

Advanced Bandit Algorithms Research参考文献 11被引用 48

一句话总结

本文提出 APT，一种针对阈值带Bandit问题（TBP）的无参数算法，其目标是在固定时间范围内识别出所有均值高于给定阈值的臂。该方法基于置信区间提出一种新颖启发式策略，通过匹配信息论下界实现最优性，成为首个在非平凡固定预算组合纯探索问题中达到最优解的算法。

ABSTRACT

We study a specific extit{combinatorial pure exploration stochastic bandit problem} where the learner aims at finding the set of arms whose means are above a given threshold, up to a given precision, and extit{for a fixed time horizon}. We propose a parameter-free algorithm based on an original heuristic, and prove that it is optimal for this problem by deriving matching upper and lower bounds. To the best of our knowledge, this is the first non-trivial pure exploration setting with extit{fixed budget} for which optimal strategies are constructed.

研究动机与目标

• 解决在固定预算设置下组合纯探索Bandit问题中缺乏最优算法的问题。
• 设计一种无参数策略，在固定时间范围T内以高概率识别出所有高于阈值的臂。
• 弥合固定预算TBP设置中已知上界与下界之间的差距，此前该设置下尚未存在任何先验下界。
• 通过推导TBP问题的匹配上界与下界，建立理论最优性。
• 证明所提出的算法优于现有方法，尤其在缺乏对问题复杂度先验知识时表现更优。

提出的方法

• 算法APT基于置信区间提出一种新颖启发式策略，优先选择其经验均值接近阈值τ的臂。
• 通过使用类似UCB的上置信界来估计与τ的偏离程度，动态分配抽样次数，平衡探索与利用。
• 该方法无需调节超参数或了解问题复杂度H，因此完全无参数。
• 理论分析表明，该算法的错误概率随T指数衰减，与信息论下界完全匹配。
• 该算法源自一种新的下界分析，揭示了在固定预算设置下TBP的根本困难。
• 通过在多种臂均值配置下对比APT与UCBE、CSAR及均匀分配策略的实验，验证了该方法的有效性。

实验结果

研究问题

• RQ1 能否设计一种针对阈值带Bandit问题的无参数算法，在固定预算设置下实现最优性能？
• RQ2 在固定时间范围内识别高于阈值的臂时，错误概率的根本极限（下界）是什么？
• RQ3 当缺乏对问题复杂度的先验知识时，APT的性能与CSAR及UCB类策略相比如何？
• RQ4 是否存在与错误概率匹配的上界，以确认所提算法的理论最优性？
• RQ5 该启发式策略能否推广至其他具有固定预算的组合纯探索问题？

主要发现

• APT通过匹配推导出的信息论下界，实现了最优性能，成为首个在非平凡固定预算组合纯探索问题中达到最优的算法。
• 该算法的错误概率衰减形式为 $ K \exp\left(-\frac{T}{\log(K)H_2}\right) $，与下界仅在对数因子上存在差异。
• 实验结果表明，APT优于均匀分配策略和次优的UCB变体，且在性能上可与CSAR和UCBE(1)相媲美，后者需依赖对问题复杂度H的先验知识。
• 结果表明，APT在缺乏对问题难度的先验知识时仍具有鲁棒性和有效性，而UCBE与CSAR则需调参或估计复杂度。
• 本研究证实了固定预算TBP问题存在非平凡的下界，填补了此前文献中该类下界缺失的关键空白。
• 理论框架表明，复杂度参数 $ H_2 $（与臂均值和阈值之间的差距相关）决定了错误概率的收敛速率。