[论文解读] Barkour: Benchmarking Animal-level Agility with Quadruped Robots

Ken Caluwaerts, Atıl Işçen+42 more|arXiv (Cornell University)|May 24, 2023

Robotic Locomotion and Control被引用 13

一句话总结

Barkour 为四足机器人引入一个障碍赛道基准，用于量化敏捷性，提供两个基线：专门策略加上一个高级导航器，以及通过蒸馏训练的基于变换器的通用策略，在自定义机器人和真实犬只上进行评估。

ABSTRACT

Animals have evolved various agile locomotion strategies, such as sprinting, leaping, and jumping. There is a growing interest in developing legged robots that move like their biological counterparts and show various agile skills to navigate complex environments quickly. Despite the interest, the field lacks systematic benchmarks to measure the performance of control policies and hardware in agility. We introduce the Barkour benchmark, an obstacle course to quantify agility for legged robots. Inspired by dog agility competitions, it consists of diverse obstacles and a time based scoring mechanism. This encourages researchers to develop controllers that not only move fast, but do so in a controllable and versatile way. To set strong baselines, we present two methods for tackling the benchmark. In the first approach, we train specialist locomotion skills using on-policy reinforcement learning methods and combine them with a high-level navigation controller. In the second approach, we distill the specialist skills into a Transformer-based generalist locomotion policy, named Locomotion-Transformer, that can handle various terrains and adjust the robot's gait based on the perceived environment and robot states. Using a custom-built quadruped robot, we demonstrate that our method can complete the course at half the speed of a dog. We hope that our work represents a step towards creating controllers that enable robots to reach animal-level agility.

研究动机与目标

• 将 Barkour 定义为受犬类敏捷比赛启发的标准化、可扩展的四足机器人敏捷性基准。
• 开发两种基线方法以解决 Barkour：1) 由高级控制器调度的专门策略，2) 通过蒸馏专门策略学习的通用运动变换器 Locomotion-Transformer。
• 展示使用领域随机化在自建四足机器人上的仿真到现实迁移。
• 评估零-shot 转移，并将机器人性能与真实犬只进行比较，以评估敏捷性差距和基准的实用性。

提出的方法

• 将 Barkour 设计为一个5m x 5m的障碍场，包含四种障碍类型和基于时间的敏捷评分。
• 定义 Barkour 评分，对错过的障碍和超时进行扣分，使用目标平均速度来计算每个障碍的分配时间。
• 在仿真中训练三种专门策略用于不同任务（全向行走、斜坡攀爬、跳跃），在 LeggedGym 中使用带领域随机化的 PPO。
• 将专门策略蒸馏为单一的通用 Locomotion-Transformer，从本体感知状态序列、速度指令和高度场输入预测下一步动作。
• 实现一个高级导航控制器，在专门策略之间切换，并与 Locomotion-Transformer 结合简化导航用于障碍穿越进行比较。
• 在自定义的小型四足机器人上进行现实世界实验，并进行零-shot 仿真到现实迁移测试。

(a) Physical setup ( $5\text{\,}\mathrm{m}$ x $5\text{\,}\mathrm{m}$ course).

实验结果

研究问题

• RQ1 Barkour 是否可以成为一个强健、标准化的基准，用于衡量四足行走控制器的敏捷性？
• RQ2 专门策略基线与通用策略基线在 Barkour 上在敏捷评分、完成时间和前向速度方面的比较如何？
• RQ3 需要哪些仿真到现实的迁移改进（通过领域随机化）来缩小仿真训练控制器与硬件性能之间的差距？
• RQ4 遇到所有 Barkour 障碍时，Locomotion-Transformer 通用策略相对于专门控制器的表现如何？
• RQ5 机器人在 Barkour 赛道上的表现与真实犬只相比如何？

主要发现

策略类型	Barkour 得分	完成时间	前进速度
Specialist	0.77\pm 0.064	24.6\pm 1.1 s	0.74\pm 0.04 m/s
Locomotion-Transformer	0.73\pm 0.062	25.8\pm 1.6 s	0.69\pm 0.04 m/s
Small dog	1.00\pm 0	9.02\pm 0.65 s	—

• 专门策略完成整条 Barkour 赛道，但速度不均匀，平均 Barkour 得分为 0.77，平均前进速度为 0.74 m/s；完成时间平均为 24.6 s。
• Locomotion-Transformer，由专门策略蒸馏而成的通用策略，Barkour 得分 0.73，平均完成时间 25.8 s，前进速度 0.69 m/s。
• 小型犬大约用 9.02 s 达到满分 1.0，整体赛道上性能优于机器人基线。
• 在70次专门策略试验中，机器人大部分运行完成，6 次因摔倒或失衡失败；40 次触及跳板，平均得分约 0.73。
• 专家在穿梭柱与 A 形架上的成功率为 100%，但跨越跳跃的成功率只有 38%；通用策略在某些任务上与专门策略表现相当。
• 该研究展示了可衡量的仿真到现实迁移能力，并强调机器人策略与动物基准之间的敏捷性差距，为未来在硬件与控制方面的改进提供了指导。

(b) Typical behavior on $0.5\text{\,}\mathrm{m}$ broad jump.