[论文解读] Direct Preference-based Policy Optimization without Reward Modeling

Gaon An, Junhyeok Lee+4 more|arXiv (Cornell University)|Jan 30, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出直接基于偏好的策略优化（DPPO），一种基于偏好强化学习的方法，通过对比学习框架直接优化策略，绕过了奖励建模。该方法在使用人类偏好标签的离线强化学习基准上实现了最先进性能，在高维控制任务中优于使用真实奖励的方法。

ABSTRACT

Preference-based reinforcement learning (PbRL) is an approach that enables RL agents to learn from preference, which is particularly useful when formulating a reward function is challenging. Existing PbRL methods generally involve a two-step procedure: they first learn a reward model based on given preference data and then employ off-the-shelf reinforcement learning algorithms using the learned reward model. However, obtaining an accurate reward model solely from preference information, especially when the preference is from human teachers, can be difficult. Instead, we propose a PbRL algorithm that directly learns from preference without requiring any reward modeling. To achieve this, we adopt a contrastive learning framework to design a novel policy scoring metric that assigns a high score to policies that align with the given preferences. We apply our algorithm to offline RL tasks with actual human preference labels and show that our algorithm outperforms or is on par with the existing PbRL methods. Notably, on high-dimensional control tasks, our algorithm surpasses offline RL methods that learn with ground-truth reward information. Finally, we show that our algorithm can be successfully applied to fine-tune large language models.

研究动机与目标

• 解决从人类偏好数据中学习准确奖励模型的挑战，因为这些数据往往不可靠或难以构建。
• 消除奖励建模后接策略优化的两阶段流程，减少误差传播并简化训练过程。
• 通过直接利用偏好信号而无需假设奖励函数，提升离线强化学习中的数据效率和可扩展性。
• 在无需奖励建模的情况下，实现利用人类偏好反馈对大语言模型进行有效微调。
• 证明在复杂控制环境中，直接从偏好进行策略优化可超越依赖真实奖励的方法。

提出的方法

• 该方法将策略优化表述为对比学习问题，将更受青睐的轨迹片段视为正样本对，将不那么受青睐的轨迹片段视为负样本对。
• 提出一种新型策略评分指标，为在嵌入空间中生成更接近偏好轨迹的策略分配更高分。
• 对比目标促使策略生成的轨迹在表征上更接近偏好轨迹，同时远离不那么受青睐的轨迹。
• 应用预测平滑正则化项以提升对比目标中使用的偏好预测器的泛化能力和鲁棒性。
• 该方法直接作用于带有人类提供偏好标签的离线数据集，避免了奖励函数估计或奖励模型训练的需求。
• 该方法在连续控制环境和大语言模型微调中均进行了评估，展示了其广泛适用性。

Figure 1 : An overview of the difference between our approach (below) and the baselines (top). Our approach does not require modeling the reward from the preference predictor as our policy optimization algorithm can learn directly from preference labels.

实验结果

研究问题

• RQ1 是否可以不学习奖励模型而直接从人类偏好标签有效优化策略？
• RQ2 用于策略评分的对比学习框架是否优于基于奖励建模的偏好强化学习方法？
• RQ3 在高维控制任务中，直接基于偏好的优化是否能超越使用真实奖励函数的离线强化学习方法？
• RQ4 所提出方法在多样化的离线强化学习基准中，其数据效率和性能如何实现扩展？
• RQ5 该方法是否可成功应用于利用人类反馈微调大语言模型？

主要发现

• 所提出的DPPO方法在所有评估的带人类偏好标签的离线强化学习任务中，表现优于或匹配现有偏好强化学习基线方法。
• 在Hopper和Ant等高维控制任务中，DPPO超越了使用真实奖励信息的离线强化学习方法，展现出更优的数据效率和可扩展性。
• 即使先前工作的奖励模型未能捕捉真实奖励结构，该方法在Hopper环境中的定性比较中仍表现出强劲性能。
• 引入预测平滑正则化项提升了偏好预测器的鲁棒性和泛化能力，从而有助于整体性能提升。
• 初步实验确认，DPPO可成功应用于利用人类反馈微调大语言模型，表明其在控制任务之外也具有广泛适用性。
• 该方法在离线强化学习设置中表现出更优的样本效率和稳定性，表明直接基于偏好的优化是奖励建模的一种可行且有效的替代方案。

Figure 2 : Predicted reward vs. true reward on the Hopper environment when using a reward model from PbRL [ 27 ] . The reward model fails to accurately capture the underlying reward structure.