[论文解读] Batched Multi-armed Bandits Problem
本文提出 BaSE，一种分批次的逐步淘汰策略，在分批多臂带来（MAB）的近似最优极小极大悔恨和问题相关悔恨方面取得接近最优的表现，并且在静态和自适应网格下具备匹配的下界。
In this paper, we study the multi-armed bandit problem in the batched setting where the employed policy must split data into a small number of batches. While the minimax regret for the two-armed stochastic bandits has been completely characterized in \cite{perchet2016batched}, the effect of the number of arms on the regret for the multi-armed case is still open. Moreover, the question whether adaptively chosen batch sizes will help to reduce the regret also remains underexplored. In this paper, we propose the BaSE (batched successive elimination) policy to achieve the rate-optimal regrets (within logarithmic factors) for batched multi-armed bandits, with matching lower bounds even if the batch sizes are determined in an adaptive manner.
研究动机与目标
- 在数据以批次到达、交互轮次有限的情形下激发学习。
- 将极小极大悔恨与问题相关悔恨表征为关于臂数 K、批次数 M 和时 horizon T 的函数。
- 在批处理约束下开发达到多对数多项因子范围内的速率最优悔恨的策略。
提出的方法
- 提出基于在前 M-1 批中进行探索，在最后一批中进行固定决策的 Batched Successive Elimination (BaSE)。
- 在每批结束时，使用具间隙相关置信界的主动臂淘汰来移除显然次优的臂。
- 给出两种静态网格（极小极大与几何网格）以证明上界；分析在这些网格下的悔恨界。
- 证明当 M 与 T 同时增大时，BaSE 达到的上界在多对数因子之内与已知的完全自适应速率相匹配。
- 推导静态网格和一般自适应网格的下界，以确立极小极大和问题相关极限。
实验结果
研究问题
- RQ1在 K 臂分批带问题中，批次数 M 如何影响极小极大悔恨和问题相关悔恨？
- RQ2分批策略能否接近完全自适应悔恨速率，需要哪些网格（静态/自适应）来达到它们？
- RQ3在静态和自适应网格下，分批 MAB 的基本下界是什么？
- RQ4在此设置中，自适应批大小是否相对于固定网格带来有意义的改进？
主要发现
- 对于任意 K≥2、T≥1、1≤M≤T，存在 BaSE 策略使 E[R_T] ≤ polylog(K,T) · sqrt(K) · T^{1/(2−2^{1−M})}（minimax 网格）。
- 在同一设定下，BaSE 在几何网格下达到 E[R_T] ≤ polylog(K,T) · (K T^{1/M}) / min_{i≠*} Δ_i。
- 推论：若 M = O(log log T) 批次，则极小极大悔恨为 Θ(√(K T))；若 M = O(log T) 批次，则问题相关悔恨为 Θ(K log T)（在对数因子意义下）。
- 静态网格的下界给出 R_min−max ≥ c √K · T^{1/(2−2^{1−M})} and R_pro−dep ≥ c K · T^{1/M}。
- 自适应网格在下界中引入多项式的 M^{-2} 因子，导致 R_min−max ≥ c M^{-2} √K · T^{1/(2−2^{1−M})} 且 R_pro−dep ≥ c M^{-2} K · T^{1/M}（仍与静态网格界限在多对数量级附近）。
- 推论：在任一网格类型下，极小极大最优性需要 Ω(log log T) 批，问题相关最优性需要 Ω(log T / log log T) 批。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。