[论文解读] Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
论文为高斯臂带有聚类与单峰结构的情形引入了两种Thompson采样变体（TSCG和UTSCG），给出更紧的后悔界并在mmWave和投资组合场景中验证了性能。
We study a type of Multi-Armed Bandit (MAB) problems in which arms with a Gaussian reward feedback are clustered. Such an arm setting finds applications in many real-world problems, for example, mmWave communications and portfolio management with risky assets, as a result of the universality of the Gaussian distribution. Based on the Thompson Sampling algorithm with Gaussian prior (TSG) algorithm for the selection of the optimal arm, we propose our Thompson Sampling with Clustered arms under Gaussian prior (TSCG) specific to the 2-level hierarchical structure. We prove that by utilizing the 2-level structure, we can achieve a lower regret bound than we do with ordinary TSG. In addition, when the reward is Unimodal, we can reach an even lower bound on the regret by our Unimodal Thompson Sampling algorithm with Clustered Arms under Gaussian prior (UTSCG). Each of our proposed algorithms are accompanied by theoretical evaluation of the upper regret bound, and our numerical experiments confirm the advantage of our proposed algorithms.
研究动机与目标
- 识别并形式化一类具有聚簇高斯反馈和唯一最优臂的优化问题。
- 开发利用簇结构与单峰性以降低后悔的算法。
- 在高斯奖励下为所提算法给出理论后悔界。
- 在模拟的mmWave和投资组合任务中展示相对于基线方法的经验改进。
提出的方法
- 将臂建模为高斯分布，划分为K个簇并具有唯一最优臂。
- 将具高斯先验的Thompson采样（TSG）扩展为两层结构（TSCG），先选簇再选臂。
- 进一步通过UTSCG利用每簇内的单峰性，聚焦领导臂及其邻近臂以提升性能。
- 证明 TSG 的问题相关后悔界（定理1）、TSCG 的定理2、以及 UTSCG 的定理3。
- 在推导更紧的界时，假设强支配性和簇内单峰性。
- 通过mmWave波束/频率选择和投资组合风格臂生态的仿真进行验证。
实验结果
研究问题
- RQ1在唯一最优臂的情况下，带聚簇结构的高斯臂带如何高效学习？
- RQ2利用簇结构与单峰性是否能在标准高斯先验的Thompson采样基础上进一步降低后悔？
- RQ3在高斯奖励和单峰簇条件下，TSCG与UTSCG的后悔界为何？
- RQ4mmWave与投资组合类设置的经验结果是否与理论改进一致？
主要发现
- TSCG 通过利用簇结构在后悔方面优于原生 TSG（定理2）。
- UTSCG 通过利用最优簇内的单峰性进一步降低后悔（定理3）。
- 两种算法在仿真中在累积后悔和选择真实最优臂的速率方面均优于基线方法（TSG、UCB、TLP）。
- 在mmWave和投资组合场景的实验确认了基于簇信息的方法更早收敛到最优臂。
- 理论结果表明后悔界依赖于簇的数量、最优簇的大小和聚簇质量，同时与臂总数无关。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。