[論文レビュー] OstrichRL: A Musculoskeletal Ostrich Simulation to Study Bio-mechanical Locomotion

Vittorio La Barbera, Fabio Pardo+5 more|arXiv (Cornell University)|Dec 11, 2021

Robotic Locomotion and Control被引用数 8

ひとこと要約

本稿では、CTスキャンおよび解剖学的解離データを用いて作成された、MuJoCoで構築された高精度で高速なキジの筋骨格系シミュレーションOstrichRLを紹介する。走行、参照モーショントラッキング、首の制御といったタスクにおいて強化学習を用いて生物学的に現実的な筋肉の作動パターンを推定し、豊富な報酬信号または正則化が、生物学的に妥当な運動を生み出すために不可欠であることを示している。

ABSTRACT

Muscle-actuated control is a research topic that spans multiple domains, including biomechanics, neuroscience, reinforcement learning, robotics, and graphics. This type of control is particularly challenging as bodies are often overactuated and dynamics are delayed and non-linear. It is however a very well tested and tuned actuation mechanism that has undergone millions of years of evolution with interesting properties exploiting passive forces and efficient energy storage of muscle-tendon units. To facilitate research on muscle-actuated simulation, we release a 3D musculoskeletal simulation of an ostrich based on the MuJoCo physics engine. The ostrich is one of the fastest bipeds on earth and therefore makes an excellent model for studying muscle-actuated bipedal locomotion. The model is based on CT scans and dissections used to collect actual muscle data, such as insertion sites, lengths, and pennation angles. Along with this model, we also provide a set of reinforcement learning tasks, including reference motion tracking, running, and neck control, used to infer muscle actuation patterns. The reference motion data is based on motion capture clips of various behaviors that we preprocessed and adapted to our model. This paper describes how the model was built and iteratively improved using the tasks. We also evaluate the accuracy of the muscle actuation patterns by comparing them to experimentally collected electromyographic data from locomoting birds. The results demonstrate the need for rich reward signals or regularization techniques to constrain muscle excitations and produce realistic movements. Overall, we believe that this work can provide a useful bridge between fields of research interested in muscle actuation.

研究の動機と目的

• 実際の解剖学的データを用いて、最も速い二足歩行動物であるキジの高精度で3次元の筋骨格系シミュレーションを開発すること。
• バイオメカニクス、強化学習、ロボット工学、コンピューターグラフィックスを統合し、共通のオープンソースのシミュレーションプラットフォームを提供すること。
• 強化学習が、複雑で過剰に作動する非線形な生物学的系において、現実的な筋肉作動パターンをどのように推定できるかを調査すること。
• 強化学習ベースの制御によって、実際のキジの行動の動きあしらいデータを再現できるかを評価すること。
• 報酬形状と正則化の役割が、筋肉作動系における効率的で生物学的に妥当な歩行を生み出すために果たす影響を調査すること。

提案手法

• CTスキャンおよび解剖学的解離データを用いて、筋肉の付着部、長さ、ピロナット角度を定義し、詳細な筋骨格系キジモデルを構築した。
• MuJoCo物理エンジンに実装することで、筋肉・腱ダイナミクスの高速で安定的かつ微分可能なシミュレーションを可能にした。
• 動きあしらいデータを用いた強化学習タスクのスイートを設計した：参照モーショントラッキング、前方走行、首の制御。
• モデルの運動学的特性に合わせて動きあしらいデータを前処理し、関節マーカーではなく、身体部の位置と姿勢をトラッキングのターゲットとした。
• トレーニング中に運動学的制約を満たすために、MuJoCoのヤコビアン関数を用いた勾配ベース最適化を適用した。
• 密度の高い報酬信号を用いてトレーニングされた深層強化学習エージェントにより、観察された行動を再現する筋肉の興奮パターンを学習した。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、複雑で過剰に作動する筋骨格系動物モデルにおいて、現実的な筋肉作動パターンを効果的に推定できるか？
• RQ2 動きあしらいトラッキングと単純な走行報酬の違いといった、異なる報酬形状戦略が、学習されたポリシーの現実性と効率性にどのように影響するか？
• RQ3 筋肉ベースの作動のみを用いて、走行や首の制御を含む自然なキジの運動行動を、シミュレーテッドキジモデルがどの程度再現できるか？
• RQ4 動きあしらいデータの再現において、Cassieロボットのモデルと比較して筋骨格系キジモデルの性能はどの程度か？
• RQ5 正則化技術と豊富な報酬信号は、強化学習ベースの制御における不自然または非効率的な筋肉活性化パターンを防ぐために果たす役割は何か？

主な発見

• OstrichRLモデルは、密度の高い報酬信号を用いた強化学習により、走行や首の動きを含む多様な自然なキジの行動を成功裏に再現した。
• 動きあしらいトラッキングタスクは、単純な走行タスクよりも正確で現実的な運動を生み出した。単純な走行タスクでは、不自然で非効率なポリシーが生成された。
• 関節角度やマーカーではなく、身体部の位置と姿勢をトラッキングターゲットとして使用することで、モデルの性能が顕著に向上した。
• MuJoCoの使用により高速なシミュレーションが可能になり、OpenSimのような遅いエンジンでは現実的でない複雑な筋肉作動ポリシーのトレーニングが可能になった。
• 豊富な報酬信号や正則化がないと、ポリシーは最適でなく生物学的に不自然な筋肉興奮を生みがちであることが示された。
• Cassieロボットの形状はキジと十分に類似しているため、動きあしらいクリップの部分的な再現が可能であるが、機械的制約のためトレーニングの安定性は維持されなかった。