[论文解读] Few-Shot Preference Learning for Human-in-the-Loop RL

Joey Hejna, Dorsa Sadigh|arXiv (Cornell University)|Dec 6, 2022

Reinforcement Learning in Robotics被引用 15

一句话总结

本文提出了一种少样本偏好学习方法，用于人机协同强化学习，通过元学习在多任务数据上预训练奖励模型，从而仅需少量人类反馈查询即可实现快速适应。该方法在Meta-World中将在线反馈需求减少了20倍，并实现了在Franka Panda机器人上使用真实人类用户进行策略训练。

ABSTRACT

While reinforcement learning (RL) has become a more popular approach for robotics, designing sufficiently informative reward functions for complex tasks has proven to be extremely difficult due their inability to capture human intent and policy exploitation. Preference based RL algorithms seek to overcome these challenges by directly learning reward functions from human feedback. Unfortunately, prior work either requires an unreasonable number of queries implausible for any human to answer or overly restricts the class of reward functions to guarantee the elicitation of the most informative queries, resulting in models that are insufficiently expressive for realistic robotics tasks. Contrary to most works that focus on query selection to \emph{minimize} the amount of data required for learning reward functions, we take an opposite approach: \emph{expanding} the pool of available data by viewing human-in-the-loop RL through the more flexible lens of multi-task learning. Motivated by the success of meta-learning, we pre-train preference models on prior task data and quickly adapt them for new tasks using only a handful of queries. Empirically, we reduce the amount of online feedback needed to train manipulation policies in Meta-World by 20$ imes$, and demonstrate the effectiveness of our method on a real Franka Panda Robot. Moreover, this reduction in query-complexity allows us to train robot policies from actual human users. Videos of our results and code can be found at https://sites.google.com/view/few-shot-preference-rl/home.

研究动机与目标

• 解决为复杂机器人任务设计密集且意图对齐的奖励函数的挑战，此类奖励函数难以手动设计。
• 克服先前基于偏好的强化学习方法存在的缺陷，即需要过多人类查询或限制奖励函数的表达能力。
• 通过利用已有的一般多任务数据，加速对新任务的适应，实现在数据稀缺情况下的高效策略训练。
• 证明在仿真和真实机器人环境中，从真实人类反馈中学习操作策略的可行性。

提出的方法

• 在大规模历史任务数据集上预训练偏好模型，以学习多个机器人操作任务之间的共享奖励结构。
• 使用仅少数人类提供的成对比较（例如，“哪条轨迹更好？”）对新任务进行微调。
• 使用元学习（特别是MAML）优化模型快速适应新任务的能力，仅需少量梯度更新。
• 在SAC-based强化学习框架中应用微调后的奖励模型，以最小化在线人类反馈。
• 采用固定反馈调度策略：早期阶段使用均匀采样，后期阶段基于不确定性或意见分歧选择查询。
• 利用专家示范的轨迹片段或重标记的状态，生成具有信息量的比较查询以供人类标注。

实验结果

研究问题

• RQ1 在多任务数据上进行预训练是否能显著减少学习新机器人任务高性能奖励函数所需的反馈查询数量？
• RQ2 与标准微调或查询选择策略相比，元学习是否能实现偏好模型对新任务的更快适应？
• RQ3 所提方法是否能在仿真和真实机器人环境中，使用真实人类反馈成功训练出有效的机器人策略？
• RQ4 在查询效率和最终策略性能方面，该方法与当前最先进的主动偏好学习基线相比表现如何？

主要发现

• 与先前最先进方法相比，该方法在Meta-World基准测试中将所需的人类反馈查询数量减少了20倍。
• 该方法实现了使用真实人类反馈训练操作策略，而此前的方法因查询需求过高而无法实现此目标。
• 在Franka Panda机器人上，该方法仅使用200次人类反馈查询，就在真实世界环境中成功训练出抓取并推动的策略。
• 与PEBBLE等基线方法相比，该少样本方法选择的查询更具信息量，用户一致更偏好所提出方法生成的比较选项。
• 在人类评估中，该方法的查询更易回答，因为其视觉差异更清晰（例如，关闭与打开的门），从而提高了标注效率。
• 在多个Meta-World任务（包括Window Close和Door Close）中，该方法在样本效率和最终策略性能方面均优于RCE和PEBBLE。