[论文解读] Bootstrapping Upper Confidence Bound
本文提出了一种非参数、数据相关的上置信度（UCB）算法，结合乘子重采样和二阶校正，以减少在线决策中的过度探索。该方法在比次高斯性更弱的尾部假设下实现了更紧致的遗憾边界，相较于基线方法，在多臂和线性Bandit问题中显著降低了遗憾。
Upper Confidence Bound (UCB) method is arguably the most celebrated one used in online decision making with partial information feedback. Existing techniques for constructing confidence bounds are typically built upon various concentration inequalities, which thus lead to over-exploration. In this paper, we propose a non-parametric and data-dependent UCB algorithm based on the multiplier bootstrap. To improve its finite sample performance, we further incorporate second-order correction into the above construction. In theory, we derive both problem-dependent and problem-independent regret bounds for multi-armed bandits under a much weaker tail assumption than the standard sub-Gaussianity. Numerical results demonstrate significant regret reductions by our method, in comparison with several baselines in a range of multi-armed and linear bandit problems.
研究动机与目标
- 解决由基于集中不等式的保守置信区间导致的UCB方法中的过度探索问题。
- 开发一种数据相关的非参数UCB方法，使其能够适应观测到的数据分布。
- 通过置信区间估计中的二阶校正，改善有限样本性能。
- 在问题相关和问题无关设置下，建立弱于次高斯性的尾部假设下的遗憾边界。
- 通过实证验证该方法在多种多臂和线性Bandit环境中减少遗憾的优越性。
提出的方法
- 该方法采用乘子重采样构建数据相关的置信区间，以重采样推断替代参数假设。
- 通过引入二阶校正，优化基于重采样的置信区间，提升有限样本下的准确性。
- 该算法在UCB框架内运行，基于从重采样分布中得出的上置信度选择动作。
- 该方法避免依赖集中不等式，转而利用经验分布特性以获得更紧致的边界。
- 理论分析在弱于次高斯性的尾部条件下推导出遗憾边界，扩大了方法的适用范围。
- 该方法适用于多臂Bandit和线性Bandit设置，在两类问题中均表现出一致的性能提升。
实验结果
研究问题
- RQ1非参数、数据相关的置信区间构造是否能在遗憾方面优于传统UCB方法？
- RQ2所提出的基于重采样的UCB方法在弱于次高斯性的尾部假设下表现如何？
- RQ3二阶校正确能在多大程度上改善有限样本下的遗憾性能？
- RQ4与标准UCB及其他基线方法相比，该方法是否在多臂和线性Bandit问题中均实现了更好的遗憾减少？
- RQ5在最小矩条件下的理论遗憾边界是什么？
主要发现
- 与多个基线UCB算法相比，该方法在多臂和线性Bandit问题中均实现了显著的遗憾降低。
- 理论分析在弱于次高斯性的尾部假设下建立了有效的遗憾边界，扩大了方法的适用范围。
- 通过乘子重采样获得的数据相关置信区间，相比基于集中不等式的方案，显著减少了过度探索。
- 二阶校正显著提升了有限样本性能，尤其在小样本情形下表现突出。
- 实证结果证实了该方法在多样化Bandit环境中的持续性能提升，展现出鲁棒性和实际应用价值。
- 该方法在保持强理论保证的同时，显著改善了实际遗憾，即使在非次高斯噪声下亦表现良好。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。