[论文解读] Fully Autonomous Real-World Reinforcement Learning with Applications to Mobile Manipulation

Charles Sun, Jędrzej Orbik+5 more|arXiv (Cornell University)|Jul 28, 2021

Reinforcement Learning in Robotics被引用 15

一句话总结

ReLMM 实现了无需人工干预、环境校准或特权信息的完全自主、真实世界强化学习，用于移动操作。通过解耦导航与抓取策略，并利用抓取不确定性驱动探索，ReLMM 在 40 小时连续的真实世界训练中实现了端到端技能学习，展示了在非结构化环境中有效终身学习的能力。

ABSTRACT

We study how robots can autonomously learn skills that require a combination of navigation and grasping. While reinforcement learning in principle provides for automated robotic skill learning, in practice reinforcement learning in the real world is challenging and often requires extensive instrumentation and supervision. Our aim is to devise a robotic reinforcement learning system for learning navigation and manipulation together, in an autonomous way without human intervention, enabling continual learning under realistic assumptions. Our proposed system, ReLMM, can learn continuously on a real-world platform without any environment instrumentation, without human intervention, and without access to privileged information, such as maps, objects positions, or a global view of the environment. Our method employs a modularized policy with components for manipulation and navigation, where manipulation policy uncertainty drives exploration for the navigation controller, and the manipulation module provides rewards for navigation. We evaluate our method on a room cleanup task, where the robot must navigate to and pick up items scattered on the floor. After a grasp curriculum training phase, ReLMM can learn navigation and grasping together fully automatically, in around 40 hours of autonomous real-world training.

研究动机与目标

• 开发一种完全自主的移动操作强化学习系统，无需人工监督或环境校准。
• 仅使用机载传感器和自监督奖励，实现在真实世界环境中的持续、终身学习。
• 消除对地图、物体位置或全局状态观测等特权信息的依赖。
• 设计模块化策略架构，以实现高效探索并联合学习导航与抓取。
• 展示样本高效的自主课程学习，在最小化人工干预的同时保持性能。

提出的方法

• ReLMM 使用模块化策略，包含独立的导航与抓取组件，通过深度强化学习联合训练。
• 利用抓取策略的不确定性作为探索奖励，引导导航策略向未探索或不确定区域移动。
• 导航策略基于成功抓取进行奖励，采用奖励重标记机制以提升样本效率。
• 通过动态抓取频率调度和基于不确定性的奖励，实现自主课程，减少人工干预。
• 系统采用分层的两阶段训练流程：先进行抓取预训练，再进行导航-抓取联合训练。
• 所有训练均仅使用机载传感器完成，无需外部校准或人工提供的重置。

实验结果

研究问题

• RQ1 移动操作机器人能否在真实世界环境中完全自主地学习复杂导航与抓取任务，而无需人工监督或环境校准？
• RQ2 在缺乏特权状态信息的情况下，如何有效驱动联合导航-抓取策略的探索？
• RQ3 策略分解与课程设计对真实世界移动操作强化学习中的样本效率有何影响？
• RQ4 自主课程学习能否在最小人工输入下实现与人工设计课程相当的性能？
• RQ5 该系统在多大程度上可通过持续、不间断的真实世界训练实现终身学习？

主要发现

• ReLMM 在约 40 小时连续的真实世界训练中成功完成房间清理任务，仅需偶尔人工干预。
• 系统随时间持续改进，表明在非结构化环境中实现了有效的终身学习。
• 消融实验表明，结合不确定性奖励的联合训练显著优于单独训练或固定课程方法。
• 仅需 1,000 次静态抓取预训练即可实现合理的房间清理性能，凸显样本效率。
• 采用奖励重标记的自主课程实现了与静态课程相当的性能，但显著减少了人工工作量。
• 将策略分解为独立的导航与抓取模块，相比联合动作空间策略，提升了训练稳定性和性能。