[论文解读] Explore no more: Improved high-probability regret bounds for non-stochastic bandits

Gergely Neu|arXiv (Cornell University)|Jun 10, 2015

Advanced Bandit Algorithms Research参考文献 27被引用 43

一句话总结

本文提出了一种隐式探索（IX）策略，在非随机多臂赌博机问题中实现了高概率遗憾界，且无需显式均匀探索，这与传统观点认为此类保证必须依赖显式探索相悖。该方法采用偏差校正的损失估计器，使分析更紧密、更简洁，并在经验性能上优于现有算法（如Exp3.P和原始Exp3）。

ABSTRACT

This work addresses the problem of regret minimization in non-stochastic multi-armed bandit problems, focusing on performance guarantees that hold with high probability. Such results are rather scarce in the literature since proving them requires a large deal of technical effort and significant modifications to the standard, more intuitive algorithms that come only with guarantees that hold on expectation. One of these modifications is forcing the learner to sample arms from the uniform distribution at least $\\Omega(\\sqrt{T})$ times over $T$ rounds, which can adversely affect performance if many of the arms are suboptimal. While it is widely conjectured that this property is essential for proving high-probability regret bounds, we show in this paper that it is possible to achieve such strong results without this undesirable exploration component. Our result relies on a simple and intuitive loss-estimation strategy called Implicit eXploration (IX) that allows a remarkably clean analysis. To demonstrate the flexibility of our technique, we derive several improved high-probability bounds for various extensions of the standard multi-armed bandit framework. Finally, we conduct a simple experiment that illustrates the robustness of our implicit exploration technique.

研究动机与目标

• 通过消除对显式均匀探索的需求，弥合非随机赌博机中期望遗憾与高概率遗憾界之间的差距。
• 开发一种更鲁棒且经验上更有效的算法，避免因强制探索次优臂而导致的性能下降。
• 提供一种更简洁、更基础的高概率遗憾界分析，无需依赖Freedman等高级集中不等式。
• 将该框架扩展至支持即时算法及各类赌博机扩展，如专家建议和追踪最优臂。
• 证明隐式探索可实现比先前方法更紧的界限，同时在所有置信水平下保持强理论保证。

提出的方法

• 提出隐式探索（IX）损失估计策略，通过涉及动作选择分布与正则化参数的矩阵求逆对估计损失进行校正。
• 使用估计器 $\widetilde{\bm{\ell}}_t = (P_t + \gamma I)^{-1} \bm{V}_t \bm{V}_t^T \bm{\ell}_t$，其中 $P_t$ 为动作分布的外积，$\gamma$ 控制隐式探索效果。
• 直接分析损失游戏而非奖励游戏，从而获得更连贯且更紧的界限。
• 采用新颖的集中性论证，避免使用Freedman不等式等高级工具，转而依赖基础的鞅技术。
• 推导出在所有置信水平下同时成立的界限，且比以往结果更紧，即使在不预先知晓 $T$ 的即时设置下亦成立。
• 通过具有动态最优臂的合成赌博机问题，对IX-based的Exp3-IX与Exp3和Exp3.P进行实证验证。

实验结果

研究问题

• RQ1 在非随机赌博机中，能否在不显式探索所有臂的情况下实现高概率遗憾界？
• RQ2 通过IX估计实现的隐式探索机制是否足以实现强理论保证，同时提升经验性能？
• RQ3 IX-based分析能否推广至专家建议、追踪最优臂及侧观察等扩展场景？
• RQ4 IX方法是否自然地支持无需知晓时间范围 $T$ 的即时算法？
• RQ5 为何IX-based算法在实践中仍会大致以 $\Omega(\sqrt{T})$ 次频率采样每条臂，尽管未强制执行显式探索？

主要发现

• 本文证明显式探索并非实现高概率遗憾界的必要条件，挑战了文献中广泛持有的观点。
• 基于IX的算法Exp3-IX在遗憾界上优于Exp3.P，并在实践中表现更优，尤其在最优臂动态变化的非随机环境中。
• 实证结果表明，Exp3-IX在 $T=10^6$、$\Delta=0.1$ 的实验中，经过50轮运行，其遗憾与标准差均显著低于Exp3.P和原始Exp3，表现出更强的鲁棒性。
• 该分析所得界限在所有置信水平下同时成立，而以往结果通常仅针对特定置信阈值有效。
• IX估计器使分析过程更简洁、更基础，避免使用Freedman不等式等高级工具，从而提升了理论可及性。
• 该方法可自然扩展至线性赌博机，暗示其在在线学习领域具有更广泛的影响潜力，尽管自适应遗憾界仍是开放挑战。