[论文解读] OstrichRL: A Musculoskeletal Ostrich Simulation to Study Bio-mechanical Locomotion

Vittorio La Barbera, Fabio Pardo+5 more|arXiv (Cornell University)|Dec 11, 2021

Robotic Locomotion and Control被引用 8

一句话总结

本文介绍了 OstrichRL，这是一个在 MuJoCo 中构建的高保真、快速的鸵鸟肌肉骨骼模拟系统，基于 CT 扫描和解剖学解剖数据。该系统采用强化学习方法，推断在奔跑、参考运动追踪和颈部控制等任务中真实的肌肉激活模式，表明丰富的奖励信号或正则化手段对于生成生物上合理的运动至关重要。

ABSTRACT

Muscle-actuated control is a research topic that spans multiple domains, including biomechanics, neuroscience, reinforcement learning, robotics, and graphics. This type of control is particularly challenging as bodies are often overactuated and dynamics are delayed and non-linear. It is however a very well tested and tuned actuation mechanism that has undergone millions of years of evolution with interesting properties exploiting passive forces and efficient energy storage of muscle-tendon units. To facilitate research on muscle-actuated simulation, we release a 3D musculoskeletal simulation of an ostrich based on the MuJoCo physics engine. The ostrich is one of the fastest bipeds on earth and therefore makes an excellent model for studying muscle-actuated bipedal locomotion. The model is based on CT scans and dissections used to collect actual muscle data, such as insertion sites, lengths, and pennation angles. Along with this model, we also provide a set of reinforcement learning tasks, including reference motion tracking, running, and neck control, used to infer muscle actuation patterns. The reference motion data is based on motion capture clips of various behaviors that we preprocessed and adapted to our model. This paper describes how the model was built and iteratively improved using the tasks. We also evaluate the accuracy of the muscle actuation patterns by comparing them to experimentally collected electromyographic data from locomoting birds. The results demonstrate the need for rich reward signals or regularization techniques to constrain muscle excitations and produce realistic movements. Overall, we believe that this work can provide a useful bridge between fields of research interested in muscle actuation.

研究动机与目标

• 开发一种基于真实解剖数据的高保真、三维鸵鸟肌肉骨骼模拟系统，以实现准确性，鸵鸟是目前已知最快的双足奔跑动物。
• 通过提供一个共享的开源模拟平台，弥合生物力学、强化学习、机器人学与计算机图形学之间的鸿沟。
• 研究强化学习如何在复杂、过驱动、非线性的生物系统中推断出真实的肌肉激活模式。
• 评估该模型通过基于强化学习的控制方法重现真实鸵鸟行为动作捕捉数据的能力。
• 探讨奖励塑造和正则化技术在生成高效、生物上合理的运动中的作用。

提出的方法

• 利用 CT 扫描和解剖学解剖数据构建详细的肌肉骨骼鸵鸟模型，以定义肌肉的附着点、长度和牵拉角。
• 在 MuJoCo 物理引擎中实现该模型，以实现肌肉-肌腱动力学的快速、稳定且可微分的模拟。
• 设计了一套强化学习任务：参考运动追踪、前向奔跑和颈部控制，使用真实鸵鸟的动作捕捉数据。
• 对动作捕捉数据进行预处理，使其与模型的运动学对齐，以身体部位的位置和朝向作为追踪目标，而非关节标记点。
• 在训练过程中，利用 MuJoCo 的雅可比函数进行基于梯度的优化，以施加运动学约束。
• 使用深度强化学习智能体，通过密集奖励信号训练，学习能够重现观测行为的肌肉兴奋模式。

实验结果

研究问题

• RQ1 强化学习能否在复杂、过驱动的肌肉骨骼动物模型中有效推断出真实的肌肉激活模式？
• RQ2 不同的奖励塑造策略（如动作捕捉追踪与简单奔跑奖励）如何影响所学策略的逼真度和效率？
• RQ3 在仅使用基于肌肉的驱动方式下，模拟的鸵鸟模型在多大程度上能够重现自然的鸵鸟运动行为，包括奔跑和颈部控制？
• RQ4 该肌肉骨骼鸵鸟模型在重现动作捕捉数据方面，与机器人模型（Cassie）相比表现如何？
• RQ5 正则化技术与丰富奖励信号在防止强化学习控制中出现不自然或低效的肌肉激活模式方面起到何种作用？

主要发现

• OstrichRL 模型通过使用密集奖励信号的强化学习，成功重现了多种自然的鸵鸟行为，包括奔跑和颈部运动。
• 动作捕捉追踪任务产生的运动比单纯的奔跑任务更准确、更逼真，后者生成的策略则显得不自然且效率低下。
• 与使用关节角度或标记点相比，采用身体部位的位置和朝向作为追踪目标显著提升了模型性能。
• MuJoCo 的使用实现了快速模拟，使得在较慢的仿真引擎（如 OpenSim）难以实现的复杂肌肉驱动策略训练成为可能。
• 实验表明，若缺乏丰富奖励信号或正则化手段，策略往往会生成次优且生物上不合理的肌肉兴奋模式。
• Cassie 机器人的形态与鸵鸟足够相似，可部分重现动作捕捉片段，但由于机械约束，追踪性能仍不稳定。