[论文解读] Simple Modification of the Upper Confidence Bound Algorithm by Generalized Weighted Averages

Nobuhito Manome, Shuji Shinohara+1 more|arXiv (Cornell University)|Aug 28, 2023

Reinforcement Learning in RoboticsComputer Science被引用 3

一句话总结

本文提出 GWA-UCB1，一种用于多臂赌博机问题的两参数广义化 UCB1 算法，通过使用广义加权平均来平衡探索与利用。该方法在随机和生存型 MAB 设置中，相较于 UCB1、Thompson 采样以及 G-UCB1，性能均有提升，且实现改动极小。

ABSTRACT

The multi-armed bandit (MAB) problem is a classical problem that models sequential decision-making under uncertainty in reinforcement learning. In this study, we propose a new generalized upper confidence bound (UCB) algorithm (GWA-UCB1) by extending UCB1, which is a representative algorithm for MAB problems, using generalized weighted averages, and present an effective algorithm for various problem settings. GWA-UCB1 is a two-parameter generalization of the balance between exploration and exploitation in UCB1 and can be implemented with a simple modification of the UCB1 formula. Therefore, this algorithm can be easily applied to UCB-based reinforcement learning models. In preliminary experiments, we investigated the optimal parameters of a simple generalized UCB1 (G-UCB1), prepared for comparison and GWA-UCB1, in a stochastic MAB problem with two arms. Subsequently, we confirmed the performance of the algorithms with the investigated parameters on stochastic MAB problems when arm reward probabilities were sampled from uniform or normal distributions and on survival MAB problems assuming more realistic situations. GWA-UCB1 outperformed G-UCB1, UCB1-Tuned, and Thompson sampling in most problem settings and can be useful in many situations. The code is available at https://github.com/manome/python-mab.

研究动机与目标

• 解决现有基于 UCB 的算法在多样化问题设置中平衡探索与利用的局限性。
• 开发一种 UCB1 的广义化方法，保持简洁性的同时增强对不同奖励分布的适应能力。
• 为强化学习流程提供一种即插即用的 UCB1 替代方案，实现改动极小。
• 评估该算法在随机和生存型 MAB 场景下的鲁棒性，包括现实的奖励动态。
• 识别在不同环境配置下提升性能的最优参数设置。

提出的方法

• 所提出的 GWA-UCB1 算法通过引入广义加权平均，对 UCB1 进行广义化，以计算置信上界。
• 引入两个可调参数，通过加权方案控制探索与利用之间的平衡。
• 通过用广义加权平均替代标准置信奖金，修改 UCB1 公式，该平均值基于历史奖励和不确定性计算。
• 该方法设计为向后兼容，可直接集成到现有的基于 UCB 的强化学习框架中。
• 广义加权机制使算法能够动态适应奖励方差和分布特性。
• 通过使用具有均匀分布和正态分布奖励的合成 MAB 问题，以及模拟现实世界约束的生存型 MAB 问题，对算法进行评估。

实验结果

研究问题

• RQ1 在具有两个臂的随机多臂赌博机问题中，GWA-UCB1 相较于 UCB1、Thompson 采样和 G-UCB1 的表现如何？
• RQ2 广义加权平均公式是否能在包括均匀分布和正态分布在内的多样化奖励分布中提升性能？
• RQ3 在模拟现实世界约束（如时间相关或右删失奖励）的生存型 MAB 问题中，GWA-UCB1 表现如何？
• RQ4 在不同 MAB 问题配置下，GWA-UCB1 的最优参数设置是什么？
• RQ5 相较于标准 UCB1，这种两参数广义化在增强适应性和鲁棒性方面有多大提升？

主要发现

• 在大多数测试的两臂随机 MAB 场景中，GWA-UCB1 表现优于 UCB1、Thompson 采样和 G-UCB1。
• 当臂的奖励概率从均匀或正态分布中采样时，该算法表现出更优的性能。
• 在模拟更现实场景（如右删失或时间相关奖励）的生存型 MAB 问题中，GWA-UCB1 保持了强劲的性能。
• GWA-UCB1 的最优参数配置对底层奖励分布较为敏感，凸显其适应能力。
• 对 UCB1 公式的简单修改在不增加计算复杂度的前提下，实现了显著的性能提升。
• GWA-UCB1 的代码已公开，便于复现，并可轻松集成到现有强化学习系统中。