[논문 리뷰] OstrichRL: A Musculoskeletal Ostrich Simulation to Study Bio-mechanical Locomotion

Vittorio La Barbera, Fabio Pardo외 5명|arXiv (Cornell University)|2021. 12. 11.

Robotic Locomotion and Control인용 수 8

한 줄 요약

이 논문은 CT 스캔과 해부 데이터를 기반으로 한 해부학적 데이터를 사용하여 MuJoCo에 구축된 고정밀, 고속의 오스트리치 근골격계 시뮬레이션인 OstrichRL을 소개한다. 러닝, 기준 운동 추적, 목 제어 등의 작업에서 실존적인 근육 작동 패턴을 추론하기 위해 강화학습을 적용하였으며, 생물학적으로 타당한 운동을 생성하기 위해 풍부한 보상 신호 또는 정규화가 필수적임을 입증하였다.

ABSTRACT

Muscle-actuated control is a research topic that spans multiple domains, including biomechanics, neuroscience, reinforcement learning, robotics, and graphics. This type of control is particularly challenging as bodies are often overactuated and dynamics are delayed and non-linear. It is however a very well tested and tuned actuation mechanism that has undergone millions of years of evolution with interesting properties exploiting passive forces and efficient energy storage of muscle-tendon units. To facilitate research on muscle-actuated simulation, we release a 3D musculoskeletal simulation of an ostrich based on the MuJoCo physics engine. The ostrich is one of the fastest bipeds on earth and therefore makes an excellent model for studying muscle-actuated bipedal locomotion. The model is based on CT scans and dissections used to collect actual muscle data, such as insertion sites, lengths, and pennation angles. Along with this model, we also provide a set of reinforcement learning tasks, including reference motion tracking, running, and neck control, used to infer muscle actuation patterns. The reference motion data is based on motion capture clips of various behaviors that we preprocessed and adapted to our model. This paper describes how the model was built and iteratively improved using the tasks. We also evaluate the accuracy of the muscle actuation patterns by comparing them to experimentally collected electromyographic data from locomoting birds. The results demonstrate the need for rich reward signals or regularization techniques to constrain muscle excitations and produce realistic movements. Overall, we believe that this work can provide a useful bridge between fields of research interested in muscle actuation.

연구 동기 및 목표

• 실제 해부학적 데이터를 활용하여 오스트리치, 즉 가장 빠른 이족보행 동물의 고정밀 3D 근골격계 시뮬레이션을 개발한다.
• 공통의 오픈소스 시뮬레이션 플랫폼을 제공하여 생물역학, 강화학습, 로봇공학, 컴퓨터 그래픽스를 연결한다.
• 강화학습이 복잡하고 과도하게 작동하는 비선형 생물학적 시스템에서 실존적인 근육 작동 패턴을 어떻게 추론할 수 있는지 조사한다.
• 강화학습 기반 제어를 통해 실제 오스트리치 행동의 운동 캡처 데이터를 재현할 수 있는지 모델의 능력을 평가한다.
• 보상 신호 형상 조정과 정규화 기법이 근육 기반 제어 시스템에서 효율적이고 생물학적으로 타당한 운동을 생성하는 데 어떤 역할을 하는지 탐구한다.

제안 방법

• CT 스캔 및 해부 데이터를 사용하여 근육의 부착 부위, 길이, 펜네이션 각도를 정의함으로써 세밀한 근골격계 오스트리치 모델을 구축하였다.
• 근육- tendon 동역학의 빠르고 안정적이며 미분 가능한 시뮬레이션을 가능하게 하기 위해 MuJoCo 물리 엔진에 모델을 구현하였다.
• 운동 캡처 데이터를 기반으로 한 실제 오스트리치의 운동을 반영한 강화학습 작업 세트를 설계함: 기준 운동 추적, 전진 달리기, 목 제어.
• 모델의 운동학적 특성과 일치시키기 위해 운동 캡처 데이터를 전처리하였으며, 관절 마커가 아닌 신체 부위의 위치와 자세를 추적 목표로 사용하였다.
• 훈련 중 운동학적 제약 조건을 준수하기 위해 MuJoCo의 자코비안 함수를 활용한 기울기 기반 최적화를 적용하였다.
• 풍부한 보상 신호를 사용하여 훈련된 딥 강화학습 에이전트가 관찰된 행동을 재현하는 데 필요한 근육 자극 패턴을 학습하였다.

실험 결과

연구 질문

• RQ1 강화학습은 복잡하고 과도하게 작동하는 근골격계 동물 모델에서 실존적인 근육 작동 패턴을 효과적으로 추론할 수 있는가?
• RQ2 운동 캡처 추적과 단순한 이동 보상 간의 다양한 보상 형상 조정 전략이 학습된 정책의 현실성과 효율성에 어떤 영향을 미치는가?
• RQ3 근육 기반 작동만을 사용할 때, 시뮬레이션된 오스트리치 모델이 러닝과 목 제어를 포함한 자연스러운 오스트리치 이동 행동을 어느 정도 재현할 수 있는가?
• RQ4 운동 캡처 데이터를 재현하는 데 있어 근골격계 오스트리치 모델의 성능이 Cassie 로봇의 로봇적 근사치와 비교하여 어떻게 되는가?
• RQ5 정규화 기법과 풍부한 보상 신호는 강화학습 기반 제어에서 비현실적이거나 비효율적인 근육 활성화 패턴을 방지하는 데 어떤 역할을 하는가?

주요 결과

• OstrichRL 모델은 풍부한 보상 신호를 사용한 강화학습을 통해 러닝과 목 움직임을 포함한 다양한 자연스러운 오스트리치 행동을 성공적으로 재현하였다.
• 운동 캡처 추적 작업은 단순한 러닝 작업보다 더 정확하고 현실적인 운동을 생성하였으며, 후자는 비현실적이고 비효율적인 정책을 생성하였다.
• 관절 각도나 마커가 아닌 신체 부위의 위치와 자세를 추적 목표로 사용함으로써 모델의 성능이 크게 향상되었다.
• MuJoCo의 사용 덕분에 빠른 시뮬레이션을 구현하여, OpenSim과 같은 느린 엔진에서는 실용적이지 않은 복잡한 근육 기반 정책을 훈련하는 데 가능성이 열렸다.
• 풍부한 보상 신호나 정규화 없이 학습된 정책는 최적화되지 않고 생물학적으로 타당하지 않은 근육 자극을 유도하는 경향을 보였다.
• Cassie 로봇의 형태학적 특성은 오스트리치와 충분히 유사하여 운동 캡처 클립의 부분적 재현이 가능했지만, 기계적 제약으로 인해 추적 성능은 여전히 불안정하였다.