[论文解读] Residual Bootstrap Exploration for Bandit Algorithms

Chi‐Hua Wang, Yang Yu+2 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Bandit Algorithms Research参考文献 12被引用 5

一句话总结

本文提出残差自举探索（ReBoot），一种新颖的基于扰动的上下文 bandit 算法探索方法，通过残差驱动的方差膨胀机制注入数据驱动的随机性，从而增强探索能力。ReBoot 在高斯多臂 bandit 问题中实现了实例相关的对数 regret，且在无界奖励设置下优于 Giro 和 PHE，同时保持了与 Thompson sampling 相当的计算效率。

ABSTRACT

In this paper, we propose a novel perturbation-based exploration method in bandit algorithms with bounded or unbounded rewards, called residual bootstrap exploration ( exttt{ReBoot}). The exttt{ReBoot} enforces exploration by injecting data-driven randomness through a residual-based perturbation mechanism. This novel mechanism captures the underlying distributional properties of fitting errors, and more importantly boosts exploration to escape from suboptimal solutions (for small sample sizes) by inflating variance level in an extit{unconventional} way. In theory, with appropriate variance inflation level, exttt{ReBoot} provably secures instance-dependent logarithmic regret in Gaussian multi-armed bandits. We evaluate the exttt{ReBoot} in different synthetic multi-armed bandits problems and observe that the exttt{ReBoot} performs better for unbounded rewards and more robustly than exttt{Giro} \cite{kveton2018garbage} and exttt{PHE} \cite{kveton2019perturbed}, with comparable computational efficiency to the Thompson sampling method.

研究动机与目标

• 开发一种可泛化的、数据驱动的 bandit 算法探索机制，适用于有界与无界奖励分布。
• 解决现有基于自举的方法（如 Giro 和 PHE）的局限性，这些方法依赖固定的伪奖励，在无界或异方差奖励下表现不佳。
• 设计一种方差膨胀方案，可理论证明在小样本情况下增强探索能力，以避免陷入次优臂。
• 在无界奖励设置下，特别是高斯 bandit 中，为 ReBoot 建立理论 regret 保证。
• 通过实验验证 ReBoot 在多种奖励分布和方差水平下的鲁棒性与计算效率。

提出的方法

• ReBoot 使用基于残差的扰动，通过残差平方和（RSS）建模拟合误差分布，以注入数据驱动的随机性。
• 对残差应用方差膨胀，以增加不确定性并促进探索，尤其是在早期学习阶段。
• 该方法被形式化为一种“跟随自举领导者”算法，其中动作基于方差膨胀后的自举奖励估计进行选择。
• 调节参数 $\sigma_a$ 控制方差膨胀程度，且在高斯 bandit 中有理论指导以实现最优性能。
• ReBoot 通过每轮仅重采样一次，保持了计算效率，而无需像其他方法那样多次生成自举样本。
• 该算法设计具有通用性，可适用于结构化和非线性 bandit 问题，而 UCB 或 TS 在此类问题中面临可扩展性挑战。

实验结果

研究问题

• RQ1 基于残差的自举机制与数据驱动的方差膨胀，能否在无界奖励 bandit 中实现最优 regret？
• RQ2 在均值漂移和异方差性方面，ReBoot 与 Giro 和 PHE 相比表现如何？
• RQ3 方差膨胀参数 $\sigma_a$ 对不同奖励分布下的 regret 和性能有何影响？
• RQ4 ReBoot 是否能在保持与 Thompson sampling 相当计算效率的同时，在无界设置下表现更优？
• RQ5 ReBoot 的残差驱动扰动机制是否能有效在小样本情况下逃离次优臂？

主要发现

• ReBoot 在高斯多臂 bandit 中实现了实例相关的对数 regret，证明了其在无界奖励下的最优理论性能。
• 在均值漂移和方差变化的实验中，ReBoot 展现出鲁棒性，而 Giro 和 PHE 因依赖固定伪奖励假设而性能下降。
• 在指数分布和逻辑斯蒂分布 bandit 中，当 $\sigma_a = 1.5$ 时，ReBoot 保持了次线性 regret，验证了其在高斯分布之外的泛化能力。
• 随着方差增加，ReBoot 的 regret 增长缓慢，优于 PHE，后者因依赖伯努利噪声而对方差变化高度敏感。
• 计算基准测试显示，ReBoot 的运行时间与 Thompson sampling 和 PHE 相当，而 Giro 因重复使用伪奖励进行重采样而显著更慢。
• 在高斯和指数 bandit 中，最优 $\sigma_a$ 值为 1.5；在逻辑斯蒂分布中，$\sigma_a = 1$ 略优，表明参数调优敏感但具有强大的实际表现。