[论文解读] Learning Neural Contextual Bandits Through Perturbed Rewards

Yiling Jia, Weitong Zhang+3 more|arXiv (Cornell University)|Jan 24, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

该论文提出了一种计算高效的神经上下文Bandit算法，通过在模型更新过程中向奖励注入高斯噪声，消除了显式探索的需要。通过利用扰动后的奖励，该方法在不增加额外计算成本的情况下实现了 $\tilde{\mathbf{O}}(\widetilde{d}\sqrt{T})$ 的遗憾界，相较于现有神经Bandit方法在效率和真实数据集上的实际性能方面表现更优。

ABSTRACT

Thanks to the power of representation learning, neural contextual bandit algorithms demonstrate remarkable performance improvement against their classical counterparts. But because their exploration has to be performed in the entire neural network parameter space to obtain nearly optimal regret, the resulting computational cost is prohibitively high. We perturb the rewards when updating the neural network to eliminate the need of explicit exploration and the corresponding computational overhead. We prove that a $ ilde{O}( ilde{d}\sqrt{T})$ regret upper bound is still achievable under standard regularity conditions, where $T$ is the number of rounds of interactions and $ ilde{d}$ is the effective dimension of a neural tangent kernel matrix. Extensive comparisons with several benchmark contextual bandit algorithms, including two recent neural contextual bandit models, demonstrate the effectiveness and computational efficiency of our proposed neural bandit algorithm.

研究动机与目标

• 解决神经上下文Bandit算法中显式探索带来的高计算成本问题。
• 消除深度神经网络在置信集构建过程中昂贵的协方差矩阵求逆需求。
• 在显著降低计算开销的同时保持理论遗憾保证。
• 使强大的神经Bandit模型能够在在线学习场景中实现实际部署。
• 弥合神经Bandit算法中理论遗憾界与实际性能之间的差距。

提出的方法

• 在每次模型更新过程中，向观测到的奖励注入均值为零的高斯噪声，以实现隐式探索。
• 在扰动后选择估计奖励最高的臂，避免在参数空间中进行显式探索。
• 利用神经正切核（NTK）框架分析模型的有效维度 $\widetilde{d}$。
• 证明该基于扰动的方法在标准正则性条件下可实现 $\tilde{\mathbf{O}}(\widetilde{d}\sqrt{T})$ 的遗憾界。
• 使用随机梯度下降进行模型更新，避免全批量矩阵求逆。
• 仅在必要时使用对角近似，避免先前工作中理论依据不充分的问题。

实验结果

研究问题

• RQ1 在不牺牲遗憾保证的前提下，奖励扰动能否替代神经上下文Bandit中的显式探索？
• RQ2 使用扰动奖励的神经Bandit算法的理论遗憾界是什么？
• RQ3 所提方法的计算成本与现有神经Bandit算法相比如何？
• RQ4 基于扰动的方法在真实世界数据集上是否保持了强大的实际性能？
• RQ5 该方法在不产生禁止性计算成本的前提下，能否扩展到大型神经网络？

主要发现

• 所提方法实现了 $\tilde{\mathbf{O}}(\widetilde{d}\sqrt{T})$ 的遗憾界，与先前方法的理论保证一致。
• 该算法避免了显式探索，并消除了对完整协方差矩阵求逆的需求，从而降低了计算成本。
• 在LastFM和Delicious数据集上，NPR在累积归一化奖励方面优于NeuralUCB和NeuralTS。
• 由于无需矩阵求逆开销，NPR的训练时间显著快于NeuralUCB和NeuralTS。
• 该方法在合成数据和真实世界数据上均保持了出色的实证性能，验证了其有效性。
• 在线神经Bandit学习中的主要瓶颈在于模型更新步骤，而该方法高效地解决了此问题。