[논문 리뷰] Learning with Muscles: Benefits for Data-Efficiency and Robustness in Anthropomorphic Tasks

Isabell Wochner, Pierre Schumacher외 4명|arXiv (Cornell University)|2022. 07. 08.

Muscle activation and electromyography studies인용 수 4

한 줄 요약

이 논문은 인간형 작업을 학습하는 동안 근육 구동형 로봇 시스템이 토크 구동형 시스템보다 데이터 효율성, 내구성, 하이퍼파rameter에 대한 민감도 측면에서 뛰어나다는 것을 입증한다. 생물학적으로 영감을 받은 힐 유형의 근육 모델을 강화 학습 및 최적 제어와 융합함으로써, 비선형 근육 동역학—특히 힘-속도 및 활성화 동역학—이 조건부로 빠른 수렴과 외부 교란 상황에서도 뛰어난 성능을 가능하게 한다. 이는 복잡한 3D 물리 시뮬레이터에서 처음부터 학습하는 데에도 적용된다.

ABSTRACT

Humans are able to outperform robots in terms of robustness, versatility, and learning of new tasks in a wide variety of movements. We hypothesize that highly nonlinear muscle dynamics play a large role in providing inherent stability, which is favorable to learning. While recent advances have been made in applying modern learning techniques to muscle-actuated systems both in simulation as well as in robotics, so far, no detailed analysis has been performed to show the benefits of muscles when learning from scratch. Our study closes this gap and showcases the potential of muscle actuators for core robotics challenges in terms of data-efficiency, hyperparameter sensitivity, and robustness.

연구 동기 및 목표

• 근육 구동형 형태가 인간형 운동 학습에서 데이터 효율성과 내구성을 향상시키는지 조사하는 것.
• 동일한 학습 조건에서 이상화된 토크 구동형 액추에이터와 근육 구동형 시스템을 비교하는 것.
• 힘-속도, 힘-길이, 활성화 동역학, 모멘트 암 변화와 같은 개별 비선형 근육 특성의 기여도를 분리하여 분석하는 것.
• 강화 학습, 모델 예측 제어, 최적 제어를 포함한 다양한 학습 알고리즘에서 근육 형태의 영향을 평가하는 것.
• 실제 시뮬레이션 환경에서 알려지지 않은 교란 조건, 예를 들어 사지에 추가된 질량에 대한 내구성을 평가하는 것.

제안 방법

• 3D 인간형 로봇 모델에서 비선형 힘-속도, 힘-길이, 활성화 동역학을 시뮬레이션하기 위해 힐 유형의 근육 모델을 사용하였다.
• 직접 비교를 위해 근육 및 토크 구동형 형태를 모두 갖춘 MuJoCo 기반의 물리 시뮬레이터를 사용하였다.
• 최신 기술인 강화 학습(PPO), 모델 예측 제어(MPC), 파arameterized 제어 정책를 사용한 최적 제어(OC)를 적용하였다.
• 근육 특성(예: 힘-속도, 활성화 동역학)을 선택적으로 비활성화하여 기여도를 분리하는 탈거 연구를 수행하였다.
• 다양한 작업과 모델에서 하이퍼파rameter 탈거를 수행하여 민감도와 데이터 효율성을 평가하였다.
• 내부적으로 알려지지 않은 질량 교란(1–5 kg)을 사지에 추가하여 불확실성 하에서의 내구성을 평가하였다.

실험 결과

연구 질문

• RQ1 근육 구동이 토크 구동보다 복잡한 인간형 운동 학습에서 데이터 효율성을 향상시키는가?
• RQ2 힘-속도, 활성화 동역학 등의 특정 비선형 근육 특성이 학습 성능 향상에 가장 크게 기여하는가?
• RQ3 어떤 정도의 외부 교란(예: 사지에 추가된 질량)이 있을 때 근육 형태가 내구성에 영향을 미치는가?
• RQ4 강화 학습 및 최적 제어에서 하이퍼파arameter 선택에 대한 민감도를 근육 구동이 얼마나 줄여주는가?
• RQ5 기본 제어 방법(예: PD 제어)을 사용할 때도 근육 유사 동역학이 성능 향상에 기여하는가?

주요 결과

• 근육 모델에서 비선형 힘-속도 관계를 끄면(No Fv), 토크 구동형 기준선보다도 성능이 열 劣하므로, 이 요소가 학습 효율성에 결정적인 역할을 한다는 것을 확인하였다.
• 비선형 활성화 동역학은 힘-속도보다는 덜 중요하지만, 데이터 효율성에 의미 있는 기여를 하며, 학습 과정에서 안정성을 제공하는 역할을 한다고 확인되었다.
• 근육 구동형 시스템은 점 도달 및 이동 작업에서 더 빠른 수렴과 낮은 비용을 달성하였으며, 최적 성능에 도달하기 위해 토크 구동형 대비 최대 50% 적은 세대 수가 필요하였다.
• 내구성 테스트에서 근육 구동형 시스템은 5kg 이하의 알려지지 않은 질량 교란을 효과적으로 보완하였고, 반면 토크 구동형 시스템은 심한 오버슈트와 불안정성을 보였다.
• PD 제어기 기준선에서도 토크 구동형 시스템은 근육 구동형 시스템의 성능을 따라오지 못하였으며, 이는 근육 형태가 제어 전략을 초월해 본질적인 이점을 제공한다는 것을 확인하였다.
• 본 연구는 근육 유사 비선형성이 제어기의 정보 처리 부담을 줄여주며, 처음부터 더 효율적이고 내구성 있는 학습을 가능하게 한다는 경험적 증거를 제공한다.