[论文解读] A Real-Time Model-Based Reinforcement Learning Architecture for Robot Control

Todd Hester, Michael Quinlan+1 more|arXiv (Cornell University)|May 9, 2011

Reinforcement Learning in Robotics参考文献 13被引用 9

一句话总结

本文提出了一种实时基于模型的强化学习架构（rtmba），通过并行化模型学习、规划与动作执行，实现了样本高效且连续的机器人控制。该方法在自动驾驶车辆控制等实时任务中表现优于现有方法，在无需暂停的情况下实现快速学习，同时保持高样本效率。

ABSTRACT

Reinforcement Learning (RL) is a method for learning decision-making tasks that could enable robots to learn and adapt to their situation on-line. For an RL algorithm to be practical for robotic control tasks, it must learn in very few actions, while continually taking those actions in real-time. Existing model-based RL methods learn in relatively few actions, but typically take too much time between each action for practical on-line learning. In this paper, we present a novel parallel architecture for model-based RL that runs in real-time by 1) taking advantage of sample-based approximate planning methods and 2) parallelizing the acting, model learning, and planning processes such that the acting process is sufficiently fast for typical robot control cycles. We demonstrate that algorithms using this architecture perform nearly as well as methods using the typical sequential architecture when both are given unlimited time, and greatly out-perform these methods on tasks that require real-time actions such as controlling an autonomous vehicle.

研究动机与目标

• 为解决机器人在实时环境中学习与适应的同时，最小化昂贵的真实世界动作的挑战。
• 克服现有基于模型的强化学习方法在动作之间需要长时间计算的局限，使其不适合在线机器人控制。
• 设计一种系统，在实现机器人平台上持续、实时动作执行的同时，保持高样本效率。
• 证明模型学习、规划与执行的并行化能够实现无性能下降的实时性能，且不牺牲学习质量。
• 在仿真和真实世界机器人控制任务中验证该架构，包括自动驾驶车辆速度控制。

提出的方法

• rtmba 架构使用三个并行线程：一个用于实时动作选择，一个用于模型学习，一个用于基于样本的近似规划。
• 采用 texplore 算法进行模型学习，该算法使用基于树的探索策略，从经验中高效学习转移和奖励模型。
• 规划通过蒙特卡洛树搜索（MCTS）结合基于样本的近似来执行，以降低计算负载并实现实时性能。
• 系统在动作周期内批量更新模型，实现学习的连续性，同时不中断控制流程。
• 该架构设计用于在多核处理器上高效运行，利用并行性以满足严格的实时控制周期要求。
• 智能体通过基于 ROS 的接口与环境通信，支持与标准机器人平台的集成。

实验结果

研究问题

• RQ1 基于模型的强化学习系统是否能在机器人控制任务中同时实现高样本效率和实时动作执行？
• RQ2 并行化模型学习、规划与执行是否能实现无性能下降的持续学习？
• RQ3 所提出的架构是否能在实时机器人控制场景中优于顺序执行的基于模型和无模型方法？
• RQ4 该架构在需要快速、连续决策的真实世界机器人应用中是否有效？
• RQ5 当给予无限计算时间时，rtmba 的性能与现有方法相比如何？

主要发现

• rtmba 架构实现了无暂停的实时学习，使机器人在学习过程中能够持续控制。
• 在仿真中，当给予无限计算时间时，rtmba 的表现几乎与顺序方法相当，证明了其高样本效率。
• 在自动驾驶车辆控制任务中，rtmba 仅用 18 个 episode（3 分钟驾驶时间）就成功学习从 2 m/s 到 7 m/s 的速度跟踪，而其他方法因计算延迟过长而失败。
• 该架构成功实现了在真实物理车辆上的部署，从 2 m/s 的起始速度学习控制 5 m/s 的速度。
• 仅经过 18 个 episode 后，系统即实现稳定且精确的控制性能，证明了在实时环境中快速的样本效率。
• 并行设计可高效利用多核处理器，使该架构适用于现代机器人硬件。