[论文解读] Hybrid Internal Model: Learning Agile Legged Locomotion with Simulated Robot Response

Junfeng Long, Zirui Wang+4 more|arXiv (Cornell University)|Dec 18, 2023

Robotic Locomotion and Control被引用 4

一句话总结

该论文提出了一种基于学习的混合内部模型（HIM），仅使用本体感知传感器（IMU和关节编码器）即可实现敏捷的足式运动。通过对比学习优化的混合内部嵌入，对地形摩擦和高程等外部干扰进行建模，HIM在仅用RTX 4090训练1小时的情况下，实现了鲁棒且可泛化的运动控制，真实部署中性能优于已知最优策略（oracle policies），且无需外部感知。

ABSTRACT

Robust locomotion control depends on accurate state estimations. However, the sensors of most legged robots can only provide partial and noisy observations, making the estimation particularly challenging, especially for external states like terrain frictions and elevation maps. Inspired by the classical Internal Model Control principle, we consider these external states as disturbances and introduce Hybrid Internal Model (HIM) to estimate them according to the response of the robot. The response, which we refer to as the hybrid internal embedding, contains the robot's explicit velocity and implicit stability representation, corresponding to two primary goals for locomotion tasks: explicitly tracking velocity and implicitly maintaining stability. We use contrastive learning to optimize the embedding to be close to the robot's successor state, in which the response is naturally embedded. HIM has several appealing benefits: It only needs the robot's proprioceptions, i.e., those from joint encoders and IMU as observations. It innovatively maintains consistent observations between simulation reference and reality that avoids information loss in mimicking learning. It exploits batch-level information that is more robust to noises and keeps better sample efficiency. It only requires 1 hour of training on an RTX 4090 to enable a quadruped robot to traverse any terrain under any disturbances. A wealth of real-world experiments demonstrates its agility, even in high-difficulty tasks and cases never occurred during the training process, revealing remarkable open-world generalizability.

研究动机与目标

• 开发一种鲁棒且传感器高效的运动策略，不依赖摄像头或LiDAR等外部传感器。
• 解决两阶段模仿学习的局限性，包括模拟到现实迁移中的信息损失和噪声敏感性。
• 利用模拟中的批量信息，实现运动策略训练的高样本效率和噪声鲁棒性。
• 建立经典内部模型控制与现代深度强化学习在足式机器人中的联系。
• 在未见过的地形和干扰条件下，实现开放世界泛化，且传感器输入极少。

提出的方法

• HIM将外部环境状态（如地形摩擦和高程）视为系统扰动，并通过机器人的模拟响应来估计这些扰动。
• 通过对比学习学习一种混合内部嵌入，以同时表示显式的速度跟踪和隐式的稳定性，后者源自历史本体感知观测。
• 通过最小化当前嵌入与后续状态之间的对比损失来优化嵌入，确保响应自然嵌入于未来动态中。
• 策略网络同时使用本体感知观测和动态更新的混合内部嵌入，通过近端策略优化（PPO）进行训练。
• 混合内部优化（HIO）在每次PPO迭代中更新嵌入，使策略能够隐式推断并区分环境扰动。
• 该方法利用Isaac Gym模拟中的批量信息，提升了鲁棒性和样本效率，且无需对环境参数进行绝对回归。

实验结果

研究问题

• RQ1 仅使用本体感知传感器（IMU和关节编码器）而无外部感知，运动策略能否实现高敏捷性和泛化能力？
• RQ2 与直接回归环境状态相比，混合内部嵌入的对比学习在提升对传感器噪声的鲁棒性和样本效率方面有何改进？
• RQ3 在模拟中训练的策略在多大程度上能泛化到真实世界中未见过的地形和干扰？
• RQ4 在嵌入优化中使用批量信息是否能带来优于逐样本回归的泛化性能？
• RQ5 在真实世界部署中，该方法与已知最优策略和基于模仿学习的基线相比，在性能和鲁棒性方面表现如何？

主要发现

• 使用HIM训练的策略在A1机器人上完成短距离楼梯任务的成功率达到100%，优于基线（85%）和无速度输入的消融实验（80%）。
• 在Aliengo机器人上完成长距离楼梯任务时，该方法成功完成176.5±7.81步，显著优于无速度输入的消融实验（51.45±25.67步）。
• 在未见过的地形任务中，该方法在组合地形上的成功率达到85%，而无内部模型的消融实验为70%，无速度损失消融实验为75%。
• 在抗干扰测试中，A1机器人实现了最大10kg载荷能力，优于载荷能力为5kg或更低的消融实验。
• 在缺失台阶任务中，该方法成功率达到100%，而无潜在空间输入的消融实验降至5%，回归基线则完全失败（0%）。
• 策略仅用2亿个样本即收敛，且在RTX 4090上仅需1小时训练，展现出极高的样本效率。