[논문 리뷰] MyoSuite -- A contact-rich simulation suite for musculoskeletal motor control

Vittorio Caggiano, Huawei Wang외 3명|arXiv (Cornell University)|2022. 05. 26.

Muscle activation and electromyography studies인용 수 38

한 줄 요약

MyoSuite는 MuJoCo에서 생리학적으로 정확한 근골격 모델을 제시하고 접촉이 풍부한 204개의 작업으로 비정상적(non-stationary) 모터 학습과 손재주 제어의 기준선을 가능하게 한다.

ABSTRACT

Embodied agents in continuous control domains have had limited exposure to tasks allowing to explore musculoskeletal properties that enable agile and nimble behaviors in biological beings. The sophistication behind neuro-musculoskeletal control can pose new challenges for the motor learning community. At the same time, agents solving complex neural control problems allow impact in fields such as neuro-rehabilitation, as well as collaborative-robotics. Human biomechanics underlies complex multi-joint-multi-actuator musculoskeletal systems. The sensory-motor system relies on a range of sensory-contact rich and proprioceptive inputs that define and condition muscle actuation required to exhibit intelligent behaviors in the physical world. Current frameworks for musculoskeletal control do not support physiological sophistication of the musculoskeletal systems along with physical world interaction capabilities. In addition, they are neither embedded in complex and skillful motor tasks nor are computationally effective and scalable to study large-scale learning paradigms. Here, we present MyoSuite -- a suite of physiologically accurate biomechanical models of elbow, wrist, and hand, with physical contact capabilities, which allow learning of complex and skillful contact-rich real-world tasks. We provide diverse motor-control challenges: from simple postural control to skilled hand-object interactions such as turning a key, twirling a pen, rotating two balls in one hand, etc. By supporting physiological alterations in musculoskeletal geometry (tendon transfer), assistive devices (exoskeleton assistance), and muscle contraction dynamics (muscle fatigue, sarcopenia), we present real-life tasks with temporal changes, thereby exposing realistic non-stationary conditions in our tasks which most continuous control benchmarks lack.

연구 동기 및 목표

• 현실적인 생리학과 현실 세계에 맞는 과제로 신체화된 AI가 근골격 모터 제어를 연구하도록 동기를 부여한다.
• OpenSim 모델을 MuJoCo 호환 모델로 변환하는 빠르고 자동화된 파이프라인을 제공한다.
• 다양한 난이도와 비정상성을 갖는 손재주가 필요한 손, 팔꿈치, 손가락 작업 계열을 개발한다.
• 적응 연구를 위해 근육감소증(사르코페니아), 피로, 힘줄 이식, 외골격 보조 등 비정상적 요인들을 도입한다.
• 복잡한 근골격계의 제어 정책 학습에 대한 기준선과 통찰을 제공한다.

제안 방법

• 기하학 전이, 모멘트 암 최적화, 근력 최적화를 통해 OpenSim 근골격 모델을 동등한 MuJoCo 모델로 변환하는 모델 비종속 파이프라인(MyoSim)을 도입한다.
• 생리학적으로 정확한 MuJoCo 모델 라이브러리를 만든다: MyoFinger(4 자유도, 5 근육), MyoElbow(1 자유도, 6 근육), MyoHand(29뼈, 23관절, 39근육).
• 간단한 것에서 복잡한 손재주 작업까지를 아우르는 9개의 작업 계열을 설계하고, 두 가지 난이도와 다양한 초기화를 통해 204개의 작업을 만들 것이다. 예: 손가락 자세, 손가락 끝 도달, 열쇠 돌리기, 펜 돌리기, 바오딩 구슬 등의 예시를 포함한다.
• 현실적인 비정상성(사르코페니아, 피로, 힘줄 이식, 외골격 보조)을 도입하여 비정상적 작업 조건을 만든다.
• Natural Policy Gradient를 사용한 기본 RL 결과를 제공하고 정책 동작, 샘플 효율성, 질적 움직임을 분석한다.

실험 결과

연구 질문

• RQ1 해부학적 충실도를 유지하면서 OpenSim 근골격 모델을 빠르고 접촉이 풍부한 MuJoCo 모델로 어떻게 효율적으로 변환할 수 있는가?
• RQ2 다양한 난이도와 비정상적 조건에서 생리학적으로 현실적인 손재주 작업 모음에 대한 학습 기반 제어기의 성능은 어떠한가?
• RQ3 사르코페니아, 피로, 건 이식, 외골격 보조와 같은 비정상적 효과가 제어 전략과 근육 활성에 어떤 영향을 미치는가?
• RQ4 정책이 고유한 비정상성에 적응하고 수술이나 부상 유사 교란 이후 제어를 회복할 수 있는가?
• RQ5 고차원의 근골격 시스템에서의 학습을 통해 운동 제어와 근육 협응에 어떤 통찰이 도출되는가?

주요 결과

• MuJoCo 모델은 OpenSim과의 해부학적 및 역학적 정렬이 근접했고, 근육 모멘트암 RMS 차이는 대략 0.04–0.38%, 힘 RMS 차이는 Fmax의 대략 2.2–4.1%였다.
• 전방 시뮬레이션은 MuJoCo에서 OpenSim 대비 수십 배에서 수천 배 더 빨랐으며, 확장 가능한 실험이 가능했다.
• Natural Policy Gradient를 이용한 기본 RL이 손가락 및 손 조정 작업 등을 포함한 여러 작업을 해결했지만, Baoding 구슬과 같은 더 복잡한 작업은 더 많은 샘플이 필요했다(일부 시드에서 7천만 샘플 이상).
• 비정상적 교란은 보조 근육 활성화 및 협력 전략을 나타내며, 피로하거나 약해진 주근육을 보조하는 보조 근육 같은 예시가 있다.
• 건 이식 실험은 동작 공간 매핑 후 재학습이 필요함을 보여주며, 구조적 변화 이후의 적응 필요성을 강조한다.
• 외골격 보조는 목표 각도에 도달하기 위해 필요한 근육 활성화를 감소시켜, 인간-기계 협력에서의 잠재적 효율 향상을 보여준다.