[论文解读] Legged Locomotion in Challenging Terrains using Egocentric Vision

Ananye Agarwal, Ashish Kumar+2 more|arXiv (Cornell University)|Nov 14, 2022

Robotic Locomotion and Control被引用 31

一句话总结

本文提出了一个端到端的移动系统，针对一只小型四足机器人，使用第一人称深度视觉在仿真中通过两阶段学习训练，在现实世界部署，能够跨越楼梯、路沿、踏石和间隙。

ABSTRACT

Animals are capable of precise and agile locomotion using vision. Replicating this ability has been a long-standing goal in robotics. The traditional approach has been to decompose this problem into elevation mapping and foothold planning phases. The elevation mapping, however, is susceptible to failure and large noise artifacts, requires specialized hardware, and is biologically implausible. In this paper, we present the first end-to-end locomotion system capable of traversing stairs, curbs, stepping stones, and gaps. We show this result on a medium-sized quadruped robot using a single front-facing depth camera. The small size of the robot necessitates discovering specialized gait patterns not seen elsewhere. The egocentric camera requires the policy to remember past information to estimate the terrain under its hind feet. We train our policy in simulation. Training has two phases - first, we train a policy using reinforcement learning with a cheap-to-compute variant of depth image and then in phase 2 distill it into the final policy that uses depth using supervised learning. The resulting policy transfers to the real world and is able to run in real-time on the limited compute of the robot. It can traverse a large variety of terrain while being robust to perturbations like pushes, slippery surfaces, and rocky terrain. Videos are at https://vision-locomotion.github.io

研究动机与目标

• 展示利用自我视角深度且不使用高程图的端到端运动控制。
• 使一只小型四足机器人能够穿越包括楼梯、缝隙和踏石在内的多样地形。
• 开发一个两阶段训练流程，利用便宜的深度代理实现高效学习。
• 展示一个在仿真中训练的策略在现实世界的转移，具备对感知噪声和扰动的鲁棒性。

提出的方法

• 两阶段训练：阶段1通过强化学习，使用 scandots（机器人下方的便宜地形查询）来生成参考策略 π1；阶段2通过监督学习将 π1 蒸馏为基于深度的策略 π2。
• 阶段1使用带有循环记忆（GRU）的PPO，将 scandots、本体感知和指令速度映射到目标关节角度；阶段2则使用单一的GRU基础策略或将视觉与本体感知输入解耦的RMA架构。
• 阶段2通过以下任一方式蒸馏为车载感知输入（深度 d、本体感知 x）：(a) 使用深度预处理的卷积网络的单体方法，结合 DAgger 来模仿 π1；或(b) 使用RMA方法，通过GRU估计 γ（地形几何）和 z（环境参数），并将其输入到基础MLP策略。
• 训练环境采用地形课程和随机参数扰动以提升鲁棒性；不强加步态先验，让涌现步态。

实验结果

研究问题

• RQ1 具有自我视角深度的视觉是否能够在没有高程图或步态先验的情况下，使小型四足机器人穿越具有挑战性的地形？
• RQ2 两阶段训练流程（带 scandots 的RL，随后对深度控制的监督蒸馏）是否能在硬件上实现可靠的从仿真到现实的转移？
• RQ3 单体GRU基于与RMA架构在端到端视觉-运动控制中的比较？
• RQ4 基于视觉的控制对扰动（推挤、滑溜表面、岩石地形）和感知噪声的鲁棒性有何影响？

主要发现

• 所提出的系统能够在一只小型四足机器人上实现实时控制，使用一个前置单目深度摄像头，穿越楼梯、路沿、踏石和间隙。
• 两阶段训练，先使用 scandots，再通过监督蒸馏，在有限的车载计算下实现 phase-2 策略以50 Hz运行，达到成功的仿真到现实转移。
• 单体GRU基与RMA架构在多种地形上都优于盲目和基于高程图的基线，包括踏石和间隙。
• 在仿真中，基于视觉的方法在各地形上在行进距离和跌落时间方面有显著提升：踏石可行进约20米；楼梯和离散障碍物可达到数十米后失效，而基线性能明显较低。
• 现实世界试验在上楼、下楼和间隙上实现100%成功，踏石上实现94%成功；盲 baselines 在间隙和踏石上失败。