[论文解读] Leveraging Human Guidance for Deep Reinforcement Learning Tasks

Ruohan Zhang, Faraz Torabi+3 more|arXiv (Cornell University)|Sep 21, 2019

Reinforcement Learning in Robotics参考文献 56被引用 4

一句话总结

本文综述了五种利用非传统人类指导的深度强化学习框架——例如评估性反馈、偏好、高层目标、注意力图和状态序列——而非完整的动作示范。这些方法减少了人工干预成本，提升了样本效率，并在雅达利游戏和机器人控制等复杂任务中实现了更快的学习。

ABSTRACT

Reinforcement learning agents can learn to solve sequential decision tasks by interacting with the environment. Human knowledge of how to solve these tasks can be incorporated using imitation learning, where the agent learns to imitate human demonstrated decisions. However, human guidance is not limited to the demonstrations. Other types of guidance could be more suitable for certain tasks and require less human effort. This survey provides a high-level overview of five recent learning frameworks that primarily rely on human guidance other than conventional, step-by-step action demonstrations. We review the motivation, assumption, and implementation of each framework. We then discuss possible future research directions.

研究动机与目标

• 通过引入超越完整动作示范的人类指导，解决深度强化学习的高样本复杂性问题。
• 通过使用替代的人类反馈信号，减少对昂贵且高质量行为克隆数据的依赖。
• 探索多样化的人类指导形式（如反馈、偏好和注意力）如何在复杂环境中加速策略学习。
• 研究人机协同强化学习框架中信息丰富度与人工投入之间的权衡。
• 通过倡导在强化学习研究中共享人类指导数据集，促进可复现性和基准测试。

提出的方法

• 利用人类评估性反馈，对智能体行为提供标量奖励或二元比较，实现无需动作级示范的奖励塑形。
• 通过比较两条智能体轨迹并使用成对比较来优化策略偏好，实现基于人类偏好的学习。
• 引入层次化模仿学习，由人类提供高层目标，低层策略则被训练以实现这些目标。
• 利用人类注意力图引导智能体关注环境中的相关特征，提升感知能力和策略学习效果。
• 仅使用状态序列进行训练，通过建模状态转移动态实现仅从观察中模仿。
• 在统一的终身学习框架中整合多种指导类型，以支持自适应、多阶段学习。

实验结果

研究问题

• RQ1 在缺乏完整动作示范的情况下，如何有效利用评估性反馈来塑造深度强化学习中的奖励？
• RQ2 与传统模仿学习相比，人类对行为轨迹的偏好在多大程度上能提升策略学习效果？
• RQ3 人类提供的高层目标是否能显著降低分层控制任务中的样本复杂性？
• RQ4 人类注意力指导在多大程度上提升了智能体聚焦于环境相关特征的能力？
• RQ5 在仅使用状态序列而无动作数据的情况下，对模仿从观察设置中的学习性能有何影响？

主要发现

• 评估性反馈和基于偏好的学习在减少大规模动作示范数据需求的同时，仍能实现有效的策略优化。
• 在分层框架中引入高层目标监督可提升样本效率，并支持在模拟机器人控制任务中学习长时程任务。
• 注意力引导学习通过使智能体关注与人类相关的特征，提升了性能并改善了泛化能力。
• 仅使用状态序列进行观察模仿在动作数据不可用或成本高昂的环境中实现了具有竞争力的性能。
• 基于偏好的方法在雅达利游戏等复杂环境中表现优异，因为人类反馈比专家示范更具可扩展性。
• 将多种指导类型整合到统一的终身学习框架中，可实现自适应、多模态学习，其性能优于单一指导方法。