[論文レビュー] MyoSuite -- A contact-rich simulation suite for musculoskeletal motor control

Vittorio Caggiano, Huawei Wang+3 more|arXiv (Cornell University)|May 26, 2022

Muscle activation and electromyography studies被引用数 38

ひとこと要約

MyoSuite は MuJoCo において生理学的に正確な筋骨格モデルを提供し、204 の接触豊富なタスクにより非定常の運動学習と巧緻な制御のベースラインを可能にします。

ABSTRACT

Embodied agents in continuous control domains have had limited exposure to tasks allowing to explore musculoskeletal properties that enable agile and nimble behaviors in biological beings. The sophistication behind neuro-musculoskeletal control can pose new challenges for the motor learning community. At the same time, agents solving complex neural control problems allow impact in fields such as neuro-rehabilitation, as well as collaborative-robotics. Human biomechanics underlies complex multi-joint-multi-actuator musculoskeletal systems. The sensory-motor system relies on a range of sensory-contact rich and proprioceptive inputs that define and condition muscle actuation required to exhibit intelligent behaviors in the physical world. Current frameworks for musculoskeletal control do not support physiological sophistication of the musculoskeletal systems along with physical world interaction capabilities. In addition, they are neither embedded in complex and skillful motor tasks nor are computationally effective and scalable to study large-scale learning paradigms. Here, we present MyoSuite -- a suite of physiologically accurate biomechanical models of elbow, wrist, and hand, with physical contact capabilities, which allow learning of complex and skillful contact-rich real-world tasks. We provide diverse motor-control challenges: from simple postural control to skilled hand-object interactions such as turning a key, twirling a pen, rotating two balls in one hand, etc. By supporting physiological alterations in musculoskeletal geometry (tendon transfer), assistive devices (exoskeleton assistance), and muscle contraction dynamics (muscle fatigue, sarcopenia), we present real-life tasks with temporal changes, thereby exposing realistic non-stationary conditions in our tasks which most continuous control benchmarks lack.

研究の動機と目的

• 現実的な生理学と現実世界に近いタスクを用いて、具現化された AI が筋骨格系の運動制御を研究する動機づけを行う。
• OpenSim モデルを MuJoCo 対応モデルに変換する高速で自動化されたパイプラインを提供する。
• 難易度と非定常性を変化させた巧緻な手・肘・指タスクのファミリの開発。
• 適応を研究するために、非定常因子（筋萎縮、疲労、腱移行、外骨格）を導入する。
• 複雑な筋骨格系の制御方針の学習に関するベースラインと洞察を提供する。

提案手法

• ジオメトリ転送、モーメントアーム最適化、筋力最適化を伴い、OpenSim の筋骨格モデルを同等の MuJoCo モデルに変換するモデル非依存のパイプライン (MyoSim) を導入する。
• 生理学的に正確な MuJoCo モデルのライブラリを作成: MyoFinger (4 DoF, 5 筋), MyoElbow (1 DoF, 6 筋), MyoHand (29 本の骨、23 関節、39 筋)。
• 9 つのタスクファミリを設計し、単純から複雑な巧緻な操作を網羅（例: 指の姿勢、指先の到達、鍵の回転、ペンの回し、 Baoding 玉）で、2つの難易度と複数のリセットを組み合わせて204 タスクを生み出す。
• 筋萎縮、疲労、腱移行、外骨格のアシストなど現実的な非定常性を組み込み、非定常タスク条件を作成する。
• Natural Policy Gradient を用いたベースラインRL結果を提供し、政策の挙動、サンプル効率、定性的な運動を分析する。

実験結果

リサーチクエスチョン

• RQ1 解剖学的適合性を保ちながら、OpenSim の筋骨格モデルを高速で接触リッチな MuJoCo モデルへ効率的に変換するにはどうすればよいか？
• RQ2 難易度と非定常条件が変化する中で、生理学的に現実的な巧緻タスクの集合に対する学習ベースの制御器の性能はどうなるか？
• RQ3 筋萎縮、疲労、腱移行、外骨格アシストといった非定常効果は、制御戦略と筋活動にどのような影響を与えるか？
• RQ4 方針は内在的な非定常性に適応し、外科手術や怪我様の摂動後に制御を回復できるか？
• RQ5 高次元の筋骨格系を学習することから、運動制御と筋協調に関するどんな洞察が得られるか？

主な発見

• MuJoCo モデルは OpenSim との解剖学的・力学的整合性に近接し、筋のモーメントアーム RMS 差は約 0.04–0.38%、力の RMS 差は Fmax の約 2.2–4.1% であった。
• 前方シミュレーションは MuJoCo で OpenSim より数桁速く、60倍から4000倍速く、スケーラブルな実験を可能にした。
• Natural Policy Gradient を用いたベースラインRLは指と手の協調タスクを含むいくつかのタスクを解決したが、Baoding balls のようなより複雑なタスクにははるかに多くのサンプル（いくつかの種で 70M 超）が必要だった。
• 非定常な摂動は、疲労したり弱くなった主筋を補完する補助筋など、代償的な筋活動と協調戦略を明らかにする。
• 腱移行実験は、作用空間のリマッピング後に再学習が必要であることを示し、構造的変化後の適応ニーズを強調する。
• 外骨格アシストは目標角度へ到達する際に必要な筋活動を減少させ、ヒト-機械協調の潜在的な効率向上を示している。