[논문 리뷰] MetaMorph: Learning Universal Controllers with Transformers

Agrim Gupta, Linxi Fan외 2명|arXiv (Cornell University)|2022. 03. 22.

Modular Robots and Swarm Intelligence인용 수 12

한 줄 요약

MetaMorph는 모듈러 로봇을 위한 트랜스포머 기반의 유니버설 컨트롤러를 제안하며, 로봇의 형태구조를 하나의 모odalitiy로 조건부로 정책 출력을 생성한다. 다양한 형태구조에서의 사전 훈련을 통해 새로운 역학적 특성, 운동학적 특성 및 작업에 대해 zero-shot 일반화를 달성하며, 사전 훈련된 정책를 미세조정할 때 기존 훈련 방식 대비 2–3배의 샘플 효율성 향상을 보였다.

ABSTRACT

Multiple domains like vision, natural language, and audio are witnessing tremendous progress by leveraging Transformers for large scale pre-training followed by task specific fine tuning. In contrast, in robotics we primarily train a single robot for a single task. However, modular robot systems now allow for the flexible combination of general-purpose building blocks into task optimized morphologies. However, given the exponentially large number of possible robot morphologies, training a controller for each new design is impractical. In this work, we propose MetaMorph, a Transformer based approach to learn a universal controller over a modular robot design space. MetaMorph is based on the insight that robot morphology is just another modality on which we can condition the output of a Transformer. Through extensive experiments we demonstrate that large scale pre-training on a variety of robot morphologies results in policies with combinatorial generalization capabilities, including zero shot generalization to unseen robot morphologies. We further demonstrate that our pre-trained policy can be used for sample-efficient transfer to completely new robot morphologies and tasks.

연구 동기 및 목표

• 모듈러 로봇에서 각 형태구조에 맞는 별도의 컨트롤러를 훈련하는 문제에 대응한다.
• 재훈련 없이도 예측할 수 없는 로봇 형태구조, 역학적 특성 및 운동학적 변형에 일반화할 수 있도록 한다.
• 사전 훈련된 정책를 활용해 새로운 형태구조 및 새로운 작업에 대해 샘플 효율적인 전이를 달성한다.
• 어 attention 메커니즘 내에서 나타나는 기능적 운동 공진화가 고자유도도프 시스템 제어를 설명할 수 있는지 탐색한다.

제안 방법

• 로봇의 각 모듈 수준 특징(자기감지 및 형태구조 특징)을 토큰 시퀀스로 표현한다.
• 전체 로봇 형태구조 시퀀스를 조건으로 삼아 정책 출력을 조절하기 위해 트랜스포머 아키텍처를 사용한다.
• 복잡한 3D 환경에서 15–20 DOF의 다양한 모듈러 로봇에 대해 정책을 사전 훈련한다.
• 개별 로봇의 학습 효율성에 따라 경험 수집을 조정하기 위해 동적 리플레이 버퍼 균형 기법을 구현한다.
• 안정적 랭크를 사용해 어텐션 행렬을 분석하여 제어 정책 내에서 기능적 운동 공진화의 존재 여부를 탐지한다.
• 최소한의 데이터로 새로운 형태구조 및 작업에 대해 사전 훈련된 정책를 미세조정하여 전이 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 사전 훈련된 트랜스포머 정책가 예측할 수 없는 로봇 형태구조 및 역학적 특성에 대해 3D 이동 작업에서 일반화할 수 있는가?
• RQ2 대규모 사전 훈련이 새로운 형태구조 및 작업으로 전이할 때 샘플 효율성을 얼마나 향상시키는가?
• RQ3 트랜스포머 정책 내 어텐션 메커니즘은 기능적 운동 공진화의 특징을 보이며, 고자유도도프 시스템의 구조적 제어를 시사하는가?
• RQ4 동적 리플레이 버퍼 균형 기법은 샘플 복잡도가 다른 로봇 간 학습 효율성을 어떻게 향상시키는가?
• RQ5 사전 훈련 기간 동안 볼 수 없었던 새로운 작업 및 형태구조에서 정책가 강력한 zero-shot 성능을 달성할 수 있는가?

주요 결과

• MetaMorph는 세 가지의 복잡한 3D 환경에서 예측할 수 없는 로봇 형태구조, 역학적 특성 및 운동학적 변형에 대해 강력한 zero-shot 일반화 성능을 달성한다.
• 사전 훈련된 MetaMorph 정책를 새로운 형태구조에 대해 미세조정할 경우, 기존의 훈련 방식 대비 2–3배 높은 샘플 효율성을 확보한다.
• 분포 이질성 조건에서도 언덕 지형 탈출 및 실린더 장애물 주변 탐색과 같은 새로운 작업에 대해 효과적으로 일반화된다.
• 어 attention 행렬 분석 결과, 낮은 안정적 랭크와 진동 패턴이 관찰되어, 일부 사지들이 동시에 활성화되는 기능적 운동 공진화가 존재함을 시사한다.
• 동적 리플레이 버퍼 균형 기법은 학습 속도가 느린 로봇에게 더 많은 경험을 할당함으로써 전체 수렴 속도를 향상시킨다.
• 사전 훈련된 정책는 하드웨어 변동성에 대해 강건성을 보이며, 고장 내성까지 고려할 수 있어 실제 환경 적용에 실용적인 잠재력을 보인다.