[论文解读] Towards General and Autonomous Learning of Core Skills: A Case Study in Locomotion

Roland Hafner, Tim Hertweck+7 more|arXiv (Cornell University)|Aug 6, 2020

Robotic Locomotion and Control参考文献 38被引用 10

一句话总结

本文提出了一种通用、数据高效的多任务强化学习框架，仅使用相同的奖励函数和超参数，在9种不同的腿式和轮式机器人（从双足到六足）上学习多样化的运动技能。该方法仅依赖机载传感器，实现无需外部仪器或平台特异性调优的自主、真实世界学习。

ABSTRACT

Modern Reinforcement Learning (RL) algorithms promise to solve difficult motor control problems directly from raw sensory inputs. Their attraction is due in part to the fact that they can represent a general class of methods that allow to learn a solution with a reasonably set reward and minimal prior knowledge, even in situations where it is difficult or expensive for a human expert. For RL to truly make good on this promise, however, we need algorithms and learning setups that can work across a broad range of problems with minimal problem specific adjustments or engineering. In this paper, we study this idea of generality in the locomotion domain. We develop a learning framework that can learn sophisticated locomotion behavior for a wide spectrum of legged robots, such as bipeds, tripeds, quadrupeds and hexapods, including wheeled variants. Our learning framework relies on a data-efficient, off-policy multi-task RL algorithm and a small set of reward functions that are semantically identical across robots. To underline the general applicability of the method, we keep the hyper-parameter settings and reward definitions constant across experiments and rely exclusively on on-board sensing. For nine different types of robots, including a real-world quadruped robot, we demonstrate that the same algorithm can rapidly learn diverse and reusable locomotion skills without any platform specific adjustments or additional instrumentation of the learning setup.

研究动机与目标

• 开发一种通用的强化学习框架，能够在广泛多样的机器人形态上学习运动技能，同时最大限度减少任务特定的工程工作。
• 探究相同的奖励函数和超参数是否能在动力学和拓扑结构截然不同的机器人之间产生稳健且可迁移的运动策略。
• 通过最小化对外部传感器或仪器的依赖，实现在真实硬件上直接进行自主学习。
• 在仿真和真实世界部署中，验证该框架的数据效率和鲁棒性。
• 验证相同的奖励语义能够自然地生成适应平台特性的运动行为，而无需架构或奖励工程。

提出的方法

• 采用一种数据高效、离策略的多任务强化学习算法，同时在多种机器人形态上训练策略。
• 在所有机器人类型中使用一组语义相同的奖励函数（如前向速度、稳定性、能效等）。
• 仅依赖机载传感器（如IMU、关节编码器）进行状态估计和奖励计算，无需外部动作捕捉或仪器支持。
• 在全部9种机器人平台上使用相同的强化学习智能体和超参数配置，包括真实世界中的四足机器人。
• 利用模块化硬件系统（HEBI Robotics）通过标准化组件构建多样化的机器人形态，实现一致的仿真到现实的迁移。
• 在仿真中进行初始训练，并在真实硬件上进行微调，几乎无需领域随机化或适应。

实验结果

研究问题

• RQ1 是否可以使用相同的强化学习算法、相同的超参数和奖励函数，在广泛多样的机器人形态上学习到多样化且稳健的运动技能？
• RQ2 仅依靠机载传感器，能在多大程度上支持无需外部状态估计或仪器支持的自主学习？
• RQ3 该框架如何确保在不同动力系统中实现数据效率和快速收敛？
• RQ4 相同的奖励语义是否能够自然地生成反映每台机器人物理约束的适应性运动行为？
• RQ5 在无需大量重新调优或领域随机化的情况下，能否将仿真中训练的策略成功迁移到真实硬件上？

主要发现

• 相同的强化学习算法，配合相同的超参数和奖励函数，成功为9种不同的机器人类型（包括双足、四足和六足机器人）学习到了运动策略。
• 所有策略均仅通过机载传感器训练而成，无需外部仪器或动作捕捉，可在非结构化环境中部署。
• 该框架实现了数据效率，仅通过真实硬件上数小时的交互时间即可完成学习，包括一台真实世界中的四足机器人。
• 尽管奖励函数完全相同，生成的控制策略仍能自然适应每台机器人的动力学特性，产生平台特定的步态，如跳跃步态、踏步步态或三脚架步态。
• 在仿真中训练的策略成功迁移到真实硬件上，几乎无需或无需微调，展现出强大的仿真到现实的泛化能力。
• 该框架实现了真实世界环境中的自主学习，部分平台的实验在“野外”环境中进行，显著降低了设置复杂度。