[논문 리뷰] MyoDex: A Generalizable Prior for Dexterous Manipulation

Vittorio Caggiano, Sudeep Dasari외 1명|arXiv (Cornell University)|2023. 09. 06.

Muscle activation and electromyography studiesEngineering인용 수 3

한 줄 요약

MyoDex는 생리학적으로 현실적인 근골격계 인간 손 모델(MyoHand)을 기반으로 다중 작업 강화학습을 활용하여 유연한 조작을 위한 일반화 가능한 행동 사전을 도입함으로써, 예측할 수 없는 접촉이 많은 작업으로의 빠른 소수 샘플 적응을 가능하게 한다. 이는 증류 기반 기준 대비 3배 더 많은 작업 해결 가능성을 보이며, 학습 속도는 4배 빠르다. AdroitDex를 통해 24-DoF AdroitHand로도 이식 가능성을 입증하였으며, SOTA 대비 5배 더 샘플 효율성이 높다.

ABSTRACT

Human dexterity is a hallmark of motor control. Our hands can rapidly synthesize new behaviors despite the complexity (multi-articular and multi-joints, with 23 joints controlled by more than 40 muscles) of musculoskeletal sensory-motor circuits. In this work, we take inspiration from how human dexterity builds on a diversity of prior experiences, instead of being acquired through a single task. Motivated by this observation, we set out to develop agents that can build upon their previous experience to quickly acquire new (previously unattainable) behaviors. Specifically, our approach leverages multi-task learning to implicitly capture task-agnostic behavioral priors (MyoDex) for human-like dexterity, using a physiologically realistic human hand model - MyoHand. We demonstrate MyoDex's effectiveness in few-shot generalization as well as positive transfer to a large repertoire of unseen dexterous manipulation tasks. Agents leveraging MyoDex can solve approximately 3x more tasks, and 4x faster in comparison to a distillation baseline. While prior work has synthesized single musculoskeletal control behaviors, MyoDex is the first generalizable manipulation prior that catalyzes the learning of dexterous physiological control across a large variety of contact-rich behaviors. We also demonstrate the effectiveness of our paradigms beyond musculoskeletal control towards the acquisition of dexterity in 24 DoF Adroit Hand. Website: https://sites.google.com/view/myodex

연구 동기 및 목표

• 다양한 예측 불가능한 접촉이 많은 작업으로의 빠른 적응을 가능하게 하는 일반화 가능한 유연한 조작 행동 사전을 개발하는 것.
• 생리학적으로 현실적인 손 모델에서의 다중 작업 학습이 인간 운동 조절과 유사한 임의의 작업에 대한 공통된 상호작용 패턴을 암묵적으로 포착할 수 있는지 조사하는 것.
• 학습된 사전이 인간 손 이외의 고차원 로봇 시스템으로도 이식 가능한지 입증하는 것.
• 학습된 행동 사전에서 일반성과 전문화성 간의 상호 교환 관계를 평가하는 것.
• 운동 캡처 데이터 없이 오직 강화학습과 내재적 탐색에 의존하여 유연한 조작을 가능하게 하는 것.

제안 방법

• 57개의 다양한 접촉이 많은 조작 작업을 대상으로 MyoHand 근골격계 모델을 사용하여 다중 작업 강화학습을 수행함으로써, 임의의 작업에 대한 행동 사전인 MyoDex를 암묵적으로 학습한다.
• 공통 정책 헤드와 작업별 전용 헤드를 사용한 딥 강화학습을 통해 파라미터 공유 및 작업 간 전이 학습을 가능하게 한다.
• 23개의 관절, 40개 이상의 근육, 3차 근육 역학을 포함한 생리학적으로 정확한 손 모델을 활용하여 현실적인 생체역학 및 접촉력 시뮬레이션을 수행한다.
• 작업 다양성이 일반화 능력에 미치는 영향을 평가하기 위해 동일한 작업 분포와 다양한 작업 분포에서 학습된 사전을 비교하는 분석 실험을 수행한다.
• MyoDex와 동일한 14개 작업을 기반으로 AdroitHand에 대응하는 사전인 AdroitDex를 학습하여, 플랫폼 간 전이 성능을 입증한다.
• 성능 평가 시 TCDM 벤치마크에서 미리보지 않은 작업에 대해 피니팅을 수행하며, 성공률과 샘플 효율성을 측정한다.

Figure 1: Contact rich manipulation behaviors acquired by MyoDex with a physiological MyoHand

실험 결과

연구 질문

• RQ1 근골격계 손 모델에서 다중 작업 강화학습을 통해 학습된 단일 통합 정책이 다양한 예측 불가능한 작업에 대해 일반화 가능한 행동 사전으로 기능할 수 있는가?
• RQ2 사전 학습 작업의 다양성이 학습된 행동 사전의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 학습된 사전(MyoDex)이 새로운 도메인 외부의 조작 작업에서 얼마나 더 빠르고 샘플 효율적으로 학습을 수행할 수 있는가?
• RQ4 이러한 접근 방식이 AdroitHand와 같은 다른 고차원 로봇 손으로도 성공적으로 이식 가능한가?
• RQ5 학습된 사전가 근육 공진화 패턴을 보이며 생물학적 운동 조절 원리와 일치하는가?

주요 결과

• MyoDex를 사용하는 에이전트는 증류 기반 기준 대비 약 3배 더 많은 예측 불가능한 유연한 조작 작업을 해결할 수 있다.
• 소수 샘플 일반화 설정에서 MyoDex를 사용하는 에이전트는 증류 기준 대비 4배 더 빠른 학습 속도를 기록한다.
• AdroitHand용 대응 사전인 AdroitDex는 약 1,000만 번의 스텝 내에 TCDM 벤치마크의 34개의 새로운 작업에서 74.5%의 성공률를 달성하였으며, 이는 SOTA 기법이 필요로 하는 5,000만 번의 스텝 대비 5배 더 샘플 효율성이 높다.
• 분석 실험 결과, 다양한 작업에서 사전 학습한 경우(MyoDex Alt Diverse)는 동일한 작업에서 학습한 경우(MyoDex Alt Homogenous)보다 더 우수한 전이 성능를 보이며, 후자는 조기에 정체된다.
• 근육 공진화 분석 결과, MyoDex는 전문가나 증류 정책보다 적은 수의 더 조율된 근육 활성화 패턴을 학습하며, 생물학적 운동 조절 원리와 일치한다.
• 운동 캡처 데이터 없이도 오직 강화학습과 내재적 탐색에 의존하여 현실적인 접촉 기반 조작 행동을 성공적으로 학습한다.

Figure 2: MyoHand - Musculoskeletal Hand model (Caggiano et al., 2022a ) . On the left, rendering of the musculoskeletal structure illustrating bone – in gray – and muscle – in red. On the right a skin-like surface for soft contacts is overlaid to the musculoskeletal model.