[论文解读] Double Explore-then-Commit: Asymptotic Optimality and Beyond

Tianyuan Jin, Pan Xu+2 more|arXiv (Cornell University)|Feb 21, 2020

Advanced Bandit Algorithms Research参考文献 35被引用 7

一句话总结

本文提出双探索-然后-承诺（DETC）算法，这是一种新型的批量多臂老虎机算法，在保持恒定轮次复杂度的同时，实现了渐近最优的遗憾。通过引入两个不同的探索阶段，随后进行利用，DETC 克服了传统 ETC 策略的次优性，并匹配了完全序列化算法（如 UCB）的渐近遗憾界，使其成为首个实现此目标的非完全序列化方法。

ABSTRACT

We study the multi-armed bandit problem with subgaussian rewards. The explore-then-commit (ETC) strategy, which consists of an exploration phase followed by an exploitation phase, is one of the most widely used algorithms in a variety of online decision applications. Nevertheless, it has been shown in Garivier et al. (2016) that ETC is suboptimal in the asymptotic sense as the horizon grows, and thus, is worse than fully sequential strategies such as Upper Confidence Bound (UCB). In this paper, we show that a variant of ETC algorithm can actually achieve the asymptotic optimality for multi-armed bandit problems as UCB-type algorithms do and extend it to the batched bandit setting. Specifically, we propose a double explore-then-commit (DETC) algorithm that has two exploration and exploitation phases and prove that DETC achieves the asymptotically optimal regret bound. To our knowledge, DETC is the first non-fully-sequential algorithm that achieves such asymptotic optimality. In addition, we extend DETC to batched bandit problems, where (i) the exploration process is split into a small number of batches and (ii) the round complexity is of central interest. We prove that a batched version of DETC can achieve the asymptotic optimality with only a constant round complexity. This is the first batched bandit algorithm that can attain the optimal asymptotic regret bound and optimal round complexity simultaneously.

研究动机与目标

• 解决在子高斯奖励下标准探索-然后-承诺（ETC）策略在多臂老虎机问题中的次优性问题。
• 设计一种批量老虎机算法，实现渐近遗憾最优性与最小轮次复杂度。
• 证明两阶段探索策略可匹配完全序列化算法（如 UCB）的渐近遗憾性能。
• 为非完全序列化算法在批量老虎机设置中建立理论保证，实现最优性能。

提出的方法

• 提出一种双探索-然后-承诺（DETC）算法，包含两个独立的探索阶段，随后为单一利用阶段。
• 在第一阶段使用数据依赖的停止时间，以高置信度估计臂的均值。
• 通过第二阶段探索进一步精炼估计并减少不确定性，随后承诺选择最优臂。
• 应用集中不等式与分层技术，以界定错误选择臂的概率。
• 推导出的遗憾界在已知或未知差距参数下，均匹配 Lai 和 Robbins（1985）以及 Garivier 等人（2016）的渐近下界。
• 通过将算法结构化为少量轮次，将 DETC 扩展至批量老虎机设置，实现恒定轮次复杂度。

实验结果

研究问题

• RQ1 两阶段探索-然后-承诺策略是否可在子高斯奖励的多臂老虎机问题中实现渐近最优性？
• RQ2 能否设计一种非完全序列化老虎机算法，使其遗憾界与 UCB 类算法的渐近遗憾界相匹配？
• RQ3 批量老虎机算法是否可同时实现渐近遗憾最优性与恒定轮次复杂度？
• RQ4 实现批量老虎机问题中渐近最优性所需的最小轮次复杂度是多少？
• RQ5 相较于 ETC 策略中的单次探索阶段，两个探索阶段如何改善遗憾性能？

主要发现

• 当 $\Delta_i$ 未知时，DETC 实现了渐近遗憾界 $\sum_{i:\Delta_i > 0} \frac{2}{\Delta_i}$，与 Lai 和 Robbins（1985）的下界一致。
• 当 $\Delta_i$ 已知时，DETC 实现了更紧的下界 $\sum_{i:\Delta_i > 0} \frac{1}{2\Delta_i}$，如 Garivier 等人（2016）所建立。
• DETC 是首个在子高斯奖励的多臂老虎机设置中实现渐近最优性的非完全序列化算法。
• DETC 的批量版本仅以恒定轮次复杂度即实现渐近最优性，为文献中的首次。
• 批量 DETC 的遗憾界为 $O(\log T)$，匹配最优速率，且轮次复杂度为 $O(1)$，与 $T$ 无关。
• 理论分析证明，选择次优臂的概率被限制在 $O(1/(T\delta^2))$ 以内，确保对最优臂的高置信选择。