[论文解读] Langevin Monte Carlo for Contextual Bandits

Pan Xu, Hongkai Zheng+3 more|arXiv (Cornell University)|Jun 22, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出 Langevin Monte Carlo Thompson Sampling (LMC-TS)，一种计算高效的上下文Bandit后验采样方法，通过Langevin Monte Carlo的噪声梯度下降替代Laplace近似。该方法在线性上下文Bandit中实现了与最先进Thompson Sampling算法相同的次线性遗憾边界，同时在无需协方差矩阵求逆或高斯假设的前提下，实现了可扩展的、高维的后验采样。

ABSTRACT

We study the efficiency of Thompson sampling for contextual bandits. Existing Thompson sampling-based algorithms need to construct a Laplace approximation (i.e., a Gaussian distribution) of the posterior distribution, which is inefficient to sample in high dimensional applications for general covariance matrices. Moreover, the Gaussian approximation may not be a good surrogate for the posterior distribution for general reward generating functions. We propose an efficient posterior sampling algorithm, viz., Langevin Monte Carlo Thompson Sampling (LMC-TS), that uses Markov Chain Monte Carlo (MCMC) methods to directly sample from the posterior distribution in contextual bandits. Our method is computationally efficient since it only needs to perform noisy gradient descent updates without constructing the Laplace approximation of the posterior distribution. We prove that the proposed algorithm achieves the same sublinear regret bound as the best Thompson sampling algorithms for a special case of contextual bandits, viz., linear contextual bandits. We conduct experiments on both synthetic data and real-world datasets on different contextual bandit models, which demonstrates that directly sampling from the posterior is both computationally efficient and competitive in performance.

研究动机与目标

• 解决在上下文Bandit的Thompson Sampling中，高维后验采样时Laplace近似计算效率低下的问题。
• 克服当真实后验分布非高斯时（尤其是在广义线性或神经网络Bandit等非线性奖励模型中）高斯近似带来的局限性。
• 开发一种实用且可扩展的算法，通过MCMC直接从真实后验分布采样，避免昂贵的协方差矩阵计算。
• 为所提方法建立理论遗憾边界，使其在线性上下文Bandit中的表现与目前已知最佳结果相当。
• 通过合成数据和真实世界数据集的实证验证，评估该方法的性能与效率。

提出的方法

• 使用Langevin Monte Carlo (LMC) 进行噪声梯度下降更新，实现近似后验采样，避免显式使用Laplace近似。
• 采用随机梯度更新规则：$\theta_{k+1} = \theta_k + \frac{\eta}{2} \nabla \log p(\theta | \mathcal{D}_t) + \sqrt{\eta} \xi_k$，其中 $\xi_k \sim \mathcal{N}(0, I)$。
• 通过从当前LMC迭代点采样来选择动作，将LMC与Thompson Sampling结合，实现基于不确定性的探索。
• 利用LMC在温和条件下收敛至真实后验分布的特性，通过足够多的迭代可实现任意精度。
• 该方法无需架构修改，即可应用于线性、广义线性及神经网络上下文Bandit模型。
• 采用自适应步长和收敛性监测机制，以在采样精度与计算成本之间取得平衡。

实验结果

研究问题

• RQ1 Langevin Monte Carlo从真实后验分布采样是否在遗憾和计算效率方面优于基于Laplace近似的Thompson Sampling？
• RQ2 LMC-TS是否在不依赖高斯近似的情况下，实现了线性上下文Bandit中的次线性遗憾？
• RQ3 在Laplace近似变得计算上不可行的高维设置下，LMC-TS表现如何？
• RQ4 LMC-TS是否能有效应用于非线性奖励模型（如广义线性和神经网络Bandit）？
• RQ5 所提方法在多样化的合成与真实世界上下文Bandit环境中是否具备可扩展性和鲁棒性？

主要发现

• LMC-TS在线性上下文Bandit中实现了与最先进Thompson Sampling算法相同的次线性遗憾边界，证明了其理论竞争力。
• 该算法通过使用噪声梯度更新而非矩阵求逆，避免了从一般协方差矩阵采样的计算瓶颈。
• 在合成数据和真实世界数据集上的实验表明，LMC-TS在计算效率和实证性能上均与最先进方法相当。
• 该方法在无需问题特定协方差调参的前提下，保持了在线性、广义线性和神经网络上下文Bandit模型中的优异性能。
• 理论分析确认，随着迭代次数增加，算法的采样误差会减小，从而确保收敛至真实后验分布。
• 在标准假设下，该方法实现了 $O(\sqrt{d \log T})$ 的遗憾边界，与线性Bandit已知最优率一致。