[论文解读] From Pixels to Legs: Hierarchical Learning of Quadruped Locomotion

Deepali Jain, Atıl Işçen+1 more|arXiv (Cornell University)|Nov 23, 2020

Robot Manipulation and Learning参考文献 34被引用 18

一句话总结

本文提出了一种分层强化学习（HRL）框架，使四足机器人能够从原始像素中同时学习运动与基于视觉的导航。通过在1.5–10 Hz的高层视觉处理与500 Hz的低层运动控制之间，利用潜在命令空间实现解耦，该方法实现了高效的、样本高效的训练，并支持低层策略在不同任务间的迁移，相比非分层基线方法，显著降低了计算成本并提升了数据效率。

ABSTRACT

Legged robots navigating crowded scenes and complex terrains in the real world are required to execute dynamic leg movements while processing visual input for obstacle avoidance and path planning. We show that a quadruped robot can acquire both of these skills by means of hierarchical reinforcement learning (HRL). By virtue of their hierarchical structure, our policies learn to implicitly break down this joint problem by concurrently learning High Level (HL) and Low Level (LL) neural network policies. These two levels are connected by a low dimensional hidden layer, which we call latent command. HL receives a first-person camera view, whereas LL receives the latent command from HL and the robot's on-board sensors to control its actuators. We train policies to walk in two different environments: a curved cliff and a maze. We show that hierarchical policies can concurrently learn to locomote and navigate in these environments, and show they are more efficient than non-hierarchical neural network policies. This architecture also allows for knowledge reuse across tasks. LL networks trained on one task can be transferred to a new task in a new environment. Finally HL, which processes camera images, can be evaluated at much lower and varying frequencies compared to LL, thus reducing computation times and bandwidth requirements.

研究动机与目标

• 使四足机器人能够从原始视觉输入中学习复杂环境下的动态腿部运动与基于视觉的导航。
• 解决将高维视觉观测与快速、接触丰富的腿部动力学整合到单一策略中的挑战。
• 通过将高层视觉决策与低层运动控制解耦，提升数据效率与训练速度。
• 通过在不同导航任务与环境中迁移低层策略，实现知识复用。
• 通过允许高层策略以可变的低频运行（同时保持任务性能），降低计算成本。

提出的方法

• 该框架采用分层架构，高层（HL）策略处理第一人称摄像头图像，低层（LL）策略根据潜在命令控制执行器。
• 高层网络输出一个低维潜在命令（1–8维），作为低层策略的时序抽象动作。
• 低层策略以500 Hz的频率运行，基于潜在命令和机载传感器反馈执行电机命令。
• 高层策略以可变的、低频的间隔（1.5–10 Hz）处理视觉输入，从而降低计算负载。
• 整个系统在Laikago机器人的真实PyBullet仿真环境中，使用进化策略（ES）进行训练。
• 潜在命令空间充当信息瓶颈，促使高层策略仅提取相关视觉特征，同时促使低层策略学习与任务相关的运动基元。

实验结果

研究问题

• RQ1 单一的分层强化学习策略能否从原始像素中同时学习基于视觉的导航与动态腿部运动？
• RQ2 将高层视觉处理与低层控制解耦，是否能提升数据效率与训练速度？
• RQ3 低层运动策略能否在不同环境与任务间实现迁移？
• RQ4 高层策略在低频且可变频率下运行，其性能下降程度如何？
• RQ5 潜在命令空间中出现的运动基元是否对应于有意义且可控制的行为？

主要发现

• 在三个视觉导航任务中，分层策略优于非分层基线，实现了更高的样本效率与更低的时钟时间训练成本。
• 采用可变频率高层网络（1.5–10 Hz）的策略，相比每一步都运行高层策略，推理时间减少了约100倍。
• 二维潜在命令空间实现了最优性能，表明低维潜在空间能够实现有效、可解释且可迁移的运动基元。
• 在某一环境（如弯曲悬崖）上训练的低层策略，可成功迁移至新环境（如迷宫），显著提升数据效率。
• 高层策略学会仅在必要时处理视觉输入，从而降低计算与带宽需求，同时保持任务性能。
• 潜在命令空间的可视化显示了转向与速度变化等运动行为之间的平滑过渡，表明出现了有意义且连续的控制基元。