[论文解读] Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo

Haoyang Zheng, Wei Deng+2 more|arXiv (Cornell University)|Jan 22, 2024

Advanced Bandit Algorithms ResearchDecision Sciences被引用 3

一句话总结

本文提出了一种基于非定常朗之万蒙特卡洛（ULMC）的加速近似汤普森采样算法，以在高维上下文 bandit 问题中提升样本复杂度和遗憾性能。通过在采样过程中引入动量，并利用随机微分方程分析后验集中率，该方法将样本复杂度从 𝒪̃(d) 降低至 𝒪̃(√d)，在保持可扩展性和鲁棒性的前提下，实现了更优的遗憾边界。

ABSTRACT

Approximate Thompson sampling with Langevin Monte Carlo broadens its reach from Gaussian posterior sampling to encompass more general smooth posteriors. However, it still encounters scalability issues in high-dimensional problems when demanding high accuracy. To address this, we propose an approximate Thompson sampling strategy, utilizing underdamped Langevin Monte Carlo, where the latter is the go-to workhorse for simulations of high-dimensional posteriors. Based on the standard smoothness and log-concavity conditions, we study the accelerated posterior concentration and sampling using a specific potential function. This design improves the sample complexity for realizing logarithmic regrets from $\mathcal{ ilde O}(d)$ to $\mathcal{ ilde O}(\sqrt{d})$. The scalability and robustness of our algorithm are also empirically validated through synthetic experiments in high-dimensional bandit problems.

研究动机与目标

• 解决高维后验分布下近似汤普森采样中的可扩展性问题。
• 改善具有非高斯后验分布的多臂 bandit 问题中的样本复杂度和遗憾性能。
• 将非定常朗之万蒙特卡洛（ULMC）集成到汤普森采样中，实现更高效的后验采样。
• 在随机微分方程轨迹的背景下，利用特定势函数理论分析后验集中率。
• 在高维合成 bandit 设置中，实证验证所提方法的鲁棒性和有效性。

提出的方法

• 使用非定常朗之万蒙特卡洛（ULMC）作为采样引擎，通过引入动量模拟高维后验分布。
• 将后验建模为具有特定势函数的随机微分方程（SDE）的平稳分布。
• 在标准光滑性和对数凹性假设下分析 SDE 轨迹，推导后验集中率。
• 引入基于动量的动力学，加速高维空间中的探索并改善混合效率。
• 采用梯度估计误差的次高斯集中界，以控制采样过程中的近似误差。
• 推导采样点与真实后验众数之间距离的矩生成函数的理论边界。

实验结果

研究问题

• RQ1 非定常朗之万蒙特卡洛能否在高维设置下降低近似汤普森采样中的样本复杂度？
• RQ2 朗之万动力学中引入动量如何影响后验集中率和遗憾性能？
• RQ3 基于 ULMC 的汤普森采样实现对数遗憾所需的理论样本复杂度是多少？
• RQ4 样本复杂度从 𝒪̃(d) 降低至 𝒪̃(√d) 是否在实践中转化为更优的遗憾性能？
• RQ5 在合成 bandit 实验中，该方法在不同维度和超参数配置下的鲁棒性如何？

主要发现

• 所提出的基于 ULMC 的近似汤普森采样将实现对数遗憾所需的样本复杂度从 𝒪̃(d) 降低至 𝒪̃(√d)。
• 理论分析表明，在标准光滑性和对数凹性条件下，ULMC 中的动量可提升后验集中率。
• 实验结果表明，在相同样本复杂度约束下，遗憾性能得到改善，验证了理论优势。
• 该方法在高达 1000 维的高维合成 bandit 问题中保持了鲁棒性和可扩展性。
• 采样误差的矩生成函数有界，支持了算法的稳定性和收敛性。
• 本工作首次通过实证验证表明，降低样本复杂度可直接带来汤普森采样中遗憾性能的提升。