[论文解读] Policy Gradients for Contextual Bandits.

Feiyang Pan, Qingpeng Cai+3 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Bandit Algorithms Research参考文献 20被引用 1

一句话总结

本文提出了上下文Bandit的策略梯度方法（PGCB），这是一种具有闭式边缘概率和低方差梯度的可微策略类，可在上下文Bandit设置中实现高效的强化学习。PGCB在真实世界和合成数据集上的表现优于经典的上下文Bandit方法和标准策略梯度方法。

ABSTRACT

We study a generalized contextual-bandits problem, where there is a state that decides the distribution of contexts of arms and affects the immediate reward when choosing an arm. The problem applies to a wide range of realistic settings such as personalized recommender systems and natural language generations. We put forward a class of policies in which the marginal probability of choosing an arm (in expectation of other arms) in each state has a simple closed form and is differentiable. In particular, the gradient of this class of policies is in a succinct form, which is an expectation of the action-value multiplied by the gradient of the marginal probability over pairs of states and single contexts. These findings naturally lead to an algorithm, coined policy gradient for contextual bandits (PGCB). As a further theoretical guarantee, we show that the variance of PGCB is less than the standard policy gradients algorithm. We also derive the off-policy gradients, and evaluate PGCB on a toy dataset as well as a music recommender dataset. Experiments show that PGCB outperforms both classic contextual-bandits methods and policy gradient methods.

研究动机与目标

• 解决上下文分布和奖励依赖于潜在状态的上下文Bandit问题中高效且稳定的策略学习挑战。
• 开发一种具有可微边缘概率的策略类，以实现强化学习中稳定的梯度估计。
• 与标准策略梯度方法相比，降低上下文Bandit设置中策略梯度更新的方差。
• 通过重要性采样推导出离策略梯度更新，以提高训练过程的样本效率和灵活性。
• 在合成数据集和真实世界推荐数据集上对方法进行实证验证，证明其性能优越。

提出的方法

• 提出一种策略类，其在给定状态下选择某支臂的边缘概率具有关于策略参数的闭式表达式且可微。
• 将策略梯度表示为动作价值与状态-上下文对上边缘概率梯度的期望乘积。
• 引入简洁的梯度形式，使使用随机梯度下降进行高效优化成为可能。
• 提供理论分析，表明PGCB梯度的方差严格低于标准策略梯度方法。
• 通过利用重要性采样推导出离策略梯度更新，使从日志数据或非当前策略生成的轨迹中学习成为可能。
• 开发PGCB算法，将可微策略类与低方差梯度估计相结合，实现端到端训练。

实验结果

研究问题

• RQ1 具有闭式边缘概率的可微策略类是否能提升上下文Bandit中的样本效率和梯度稳定性？
• RQ2 所提出的策略梯度公式在上下文Bandit学习中是否相比标准策略梯度方法具有更低的方差？
• RQ3 从PGCB框架中推导出的离策略梯度是否能实现从日志数据或非平稳行为策略中有效学习？
• RQ4 在真实世界推荐任务中，PGCB与经典上下文Bandit算法（如LinUCB）和标准策略梯度基线相比表现如何？
• RQ5 策略的闭式结构是否在实践中带来更快的收敛速度和更好的性能？

主要发现

• PGCB方法的梯度方差低于标准策略梯度方法，该结论既得到理论证明也经实证验证。
• 所提出的策略类实现了闭式、可微的边缘概率，简化了梯度计算并提升了优化稳定性。
• 在音乐推荐数据集上，PGCB在累积奖励方面优于经典上下文Bandit方法和标准策略梯度基线。
• 在玩具数据集上的实验结果证实，PGCB收敛速度更快且性能高于对比方法。
• 离策略梯度公式使从日志数据中有效学习成为可能，提升了现实应用中的数据效率。
• 该方法在多样化场景中表现出强大的实证性能，包括个性化推荐和自然语言生成。