[论文解读] Dueling Posterior Sampling for Preference-Based Reinforcement Learning

Ellen Novoseller, Yibing Wei+3 more|arXiv (Cornell University)|Aug 4, 2019

Advanced Bandit Algorithms Research参考文献 62被引用 6

一句话总结

该论文提出Dueling Posterior Sampling（DPS），一种贝叶斯强化学习算法，通过结合后验抽样与基于状态-动作奖励模型的信用分配，从轨迹级偏好反馈中进行学习。该方法首次在基于偏好的强化学习中实现了理论 regret 保证，证明了在使用贝叶斯线性回归信用分配模型时，其具有渐近贝叶斯无 regret 收敛性。

ABSTRACT

In preference-based reinforcement learning (RL), an agent interacts with the environment while receiving preferences instead of absolute feedback. While there is increasing research activity in preference-based RL, the design of formal frameworks that admit tractable theoretical analysis remains an open challenge. Building upon ideas from preference-based bandit learning and posterior sampling in RL, we present DUELING POSTERIOR SAMPLING (DPS), which employs preference-based posterior sampling to learn both the system dynamics and the underlying utility function that governs the preference feedback. As preference feedback is provided on trajectories rather than individual state-action pairs, we develop a Bayesian approach for the credit assignment problem, translating preferences to a posterior distribution over state-action reward models. We prove an asymptotic Bayesian no-regret rate for DPS with a Bayesian linear regression credit assignment model. This is the first regret guarantee for preference-based RL to our knowledge. We also discuss possible avenues for extending the proof methodology to other credit assignment models. Finally, we evaluate the approach empirically, showing competitive performance against existing baselines.

研究动机与目标

• 解决在强化学习中仅能获得稀疏、相对偏好反馈（无绝对奖励）时的学习挑战。
• 开发一种可处理的贝叶斯框架，联合从成对轨迹偏好中学习环境动态与潜在奖励函数。
• 通过将轨迹级偏好映射到状态-动作奖励模型，解决时间上的信用分配问题。
• 为基于偏好的强化学习算法提供首个理论 regret 分析，建立渐近无 regret 收敛性。
• 在多个环境中对 DPS 进行经验验证，证明其对信用分配模型和超参数选择的鲁棒性。

提出的方法

• DPS 使用后验抽样在每轮中生成两条独立轨迹，通过成对比较实现基于偏好的学习。
• 其维护对状态-动作奖励模型的贝叶斯后验分布，利用偏好反馈更新对哪些动作和状态有助于产生偏好结果的信念。
• 信用分配模型——具体为贝叶斯线性回归或高斯过程回归——将轨迹级偏好转化为每个状态-动作的奖励估计。
• 该算法整合信息论技术以界定贝叶斯 regret，从而实现对学习收敛性的理论分析。
• 偏好反馈被建模为两条轨迹累积奖励差值的概率函数，噪声通过逻辑斯蒂或高斯过程建模。
• 信用分配模型的超参数（如 $σ$, $λ$, $\sigma_f^2$, $l$）通过在不同环境中的经验验证进行调优。

实验结果

研究问题

• RQ1 后验抽样能否被扩展以处理强化学习中的轨迹级偏好反馈？
• RQ2 如何形式化信用分配，以将稀疏的、相对的偏好映射到每个状态-动作的奖励？
• RQ3 在贝叶斯设置下，能为基于偏好的强化学习算法建立哪些理论保证？
• RQ4 所提出方法对信用分配模型和超参数变化的鲁棒性如何？
• RQ5 与现有基于偏好的强化学习基线相比，该算法是否能达到具有竞争力的性能？

主要发现

• 当使用贝叶斯线性回归信用分配模型时，DPS 实现了渐近贝叶斯无 regret 收敛，这是基于偏好强化学习中的首次 regret 保证。
• 在 Random MDP、Mountain Car 和 RiverSwim 环境中的经验评估表明，DPS 在累积奖励方面始终优于或匹配现有基线。
• 该算法在所有测试环境中对超参数选择均表现出鲁棒性，30–100 次运行中性能稳定。
• 在不同用户噪声模型（包括逻辑斯蒂噪声）下，性能依然强劲，表明对噪声偏好反馈具有抗性。
• 信用分配模型的选择（如 GP、贝叶斯逻辑回归）对最终性能影响极小，表明其具有良好的泛化能力。
• 理论分析依赖于对后验抽样 regret 的信息论界，该界已扩展至偏好反馈设置。