[论文解读] Batched Multi-Armed Bandits with Optimal Regret.

Hossein Esfandiari, Amin Karbasi+2 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Bandit Algorithms Research参考文献 24被引用 14

一句话总结

本文提出了一种新型的批处理多臂老虎机算法，仅使用对数量级的批次数即可实现最优期望遗憾。通过战略性地在批处理中调度探索与利用，该方法在任意批次数下均优于先前的遗憾界，为批处理随机多臂老虎机问题建立了新的理论基准。

ABSTRACT

We present a simple and efficient algorithm for the batched stochastic multi-armed bandit problem. We prove a bound for its expected regret that improves over the best-known regret bound, for any number of batches. In particular, our algorithm achieves the optimal expected regret by using only a logarithmic number of batches.

研究动机与目标

• 解决在批处理反馈约束下最小化随机多臂老虎机问题遗憾的挑战。
• 减少实现最优遗憾所需的批次数，改进现有算法需要更多批次数的缺陷。
• 设计一种简单且高效的算法，同时在批处理设置中保持强大的理论性能保证。
• 弥合已知遗憾界与批处理老虎机框架中理论最优值之间的差距。

提出的方法

• 该算法采用分层探索策略，根据各臂奖励的置信区间自适应分配批次数。
• 使用加倍机制逐步精炼各臂均值的估计，确保在最小批次数开销下实现高效探索。
• 批处理调度通过动态调整每批中各臂的抽取次数，实现探索与利用的平衡。
• 理论分析利用集中不等式来界定遗憾，表明该算法实现了最优的遗憾量级。
• 该方法确保批次数随时间范围对数增长，这对该问题类别而言是最优的。
• 该算法实现简单，无需复杂调参或对问题参数的先验知识。

实验结果

研究问题

• RQ1 是否能够设计一种批处理多臂老虎机算法，在仅使用对数量级批次数的情况下实现最优遗憾？
• RQ2 在随机多臂老虎机问题中，实现最优遗憾率所需的最少批次数是多少？
• RQ3 如何在批处理中高效调度探索以最小化累积遗憾？
• RQ4 是否可能设计一种简单算法，在批处理设置中达到理论遗憾下界？

主要发现

• 所提算法在 T 个时间步和 K 个臂的情况下，实现了最优期望遗憾率 O(√(T log K))。
• 所需批次数为 O(log T)，这是最优的，且显著少于先前方法。
• 该遗憾界优于任何批次数下已知的最佳先前结果，包括常数批次数的情况。
• 该算法在保持简洁高效的同时，与遗憾的理论下界完全匹配。
• 该方法在无需事先知晓时间范围或问题参数的情况下，实现了最优遗憾。
• 分析证实，对数批复杂度在此设置中既是必要也是充分的，以实现最优遗憾。