[论文解读] Human-in-the-Loop Methods for Data-Driven and Reinforcement Learning Systems

Vinicius G. Goecks|arXiv (Cornell University)|Aug 30, 2020

Reinforcement Learning in Robotics参考文献 169被引用 4

一句话总结

本文提出了一种名为Cycle-of-Learning的人机协同框架，将人类示范、干预和评估整合到演员-评论家强化学习中，以提升机器人领域的样本效率和实时适应能力。通过将人类反馈循环式地融入学习过程，该方法加速了收敛速度，并在UAS和LunarLander任务中实现每份人类样本1.84倍的任务完成率，优于行为克隆和DAPG基线方法。

ABSTRACT

Recent successes combine reinforcement learning algorithms and deep neural networks, despite reinforcement learning not being widely applied to robotics and real world scenarios. This can be attributed to the fact that current state-of-the-art, end-to-end reinforcement learning approaches still require thousands or millions of data samples to converge to a satisfactory policy and are subject to catastrophic failures during training. Conversely, in real world scenarios and after just a few data samples, humans are able to either provide demonstrations of the task, intervene to prevent catastrophic actions, or simply evaluate if the policy is performing correctly. This research investigates how to integrate these human interaction modalities to the reinforcement learning loop, increasing sample efficiency and enabling real-time reinforcement learning in robotics and real world scenarios. This novel theoretical foundation is called Cycle-of-Learning, a reference to how different human interaction modalities, namely, task demonstration, intervention, and evaluation, are cycled and combined to reinforcement learning algorithms. Results presented in this work show that the reward signal that is learned based upon human interaction accelerates the rate of learning of reinforcement learning algorithms and that learning from a combination of human demonstrations and interventions is faster and more sample efficient when compared to traditional supervised learning algorithms. Finally, Cycle-of-Learning develops an effective transition between policies learned using human demonstrations and interventions to reinforcement learning. The theoretical foundation developed by this research opens new research paths to human-agent teaming scenarios where autonomous agents are able to learn from human teammates and adapt to mission performance metrics in real-time and in real world scenarios.

研究动机与目标

• 解决端到端强化学习在真实机器人应用中样本效率低下及灾难性失败风险过高的问题。
• 将人类交互模态——示范、干预和评估——直接整合到强化学习循环中。
• 实现在高保真仿真环境和真实世界环境中实时、数据高效的策略学习。
• 构建一个理论框架，统一人类反馈与函数逼近及演员-评论家架构中的奖励塑造。
• 在连续控制任务和无人航空系统（UAS）上验证该方法，证明其在性能上优于标准强化学习和模仿学习。

提出的方法

• Cycle-of-Learning框架利用函数逼近技术，将人类示范、干预和评估整合到演员-评论家架构中，用于价值函数和动作函数的近似。
• 通过逆强化学习和生成建模，利用人类反馈对奖励信号进行塑造，从而提升策略学习效率。
• 经验回放机制同时包含专家示范和智能体生成的经验，并基于损失分量动态加权。
• 该方法采用闭环交互循环，持续将人类输入反馈至学习过程，以迭代方式优化策略。
• 首先通过行为克隆进行预训练初始化策略，随后通过人类参与的强化学习微调实现优化。
• 采用神经架构搜索和压缩等技术对神经网络架构进行优化，以实现在硬件上的实时部署。

实验结果

研究问题

• RQ1 如何系统性地将人类示范、干预和评估整合到强化学习循环中，以提升样本效率？
• RQ2 结合多种模态的人类反馈是否能实现比单一反馈类型更快的收敛速度和更优性能？
• RQ3 将人类先验知识整合到强化学习流程的所有组件中（而不仅限于奖励塑造），是否能带来可测量的性能提升？
• RQ4 与传统行为克隆和端到端强化学习相比，Cycle-of-Learning框架在数据效率和最终策略性能方面表现如何？
• RQ5 人机协同学习在多大程度上能够实现在高保真机器人环境中的实时适应与部署？

主要发现

• 在LunarLanderContinuous-v2任务中，Cycle-of-Learning方法相较于行为克隆性能提升636%，较DAPG提升104%，较DDPG提升71%。
• 在Microsoft AirSim UAS环境中，该方法初始性能较DAPG高出161%，较行为克隆高出297%。
• 结合示范与干预进行学习使任务完成率提升12.8%（±3.6%标准误差），同时减少32.1%（±3.2%标准误差）的人类样本使用量。
• 该方法实现的每份人类样本的任务完成率较基线高出1.84倍，证明其具有卓越的数据效率。
• 组件分析表明，预训练、损失加权和混合经验回放是性能提升的关键因素，而不仅仅是模仿学习与强化学习的顺序应用。
• 智能体在仅100次学习迭代后，通过逆强化学习和生成模型成功完成UAS着陆任务，并超越人类平均表现。