[논문 리뷰] Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

Zipeng Fu, Tony Z. Zhao외 1명|arXiv (Cornell University)|2024. 01. 04.

Robot Manipulation and Learning인용 수 28

한 줄 요약

본 논문은 Mobile ALOHA를 도입한다. 이는 데이터 수집 및 모방 학습을 위한 저비용의 전신 원격 조작 시스템으로, 양손 모바일 조작을 달성하고, 정적 ALOHA 데이터와의 공동학습이 여러 모방 학습 방법을 사용한 다양한 작업에서 성능을 향상시킵니다.

ABSTRACT

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io

연구 동기 및 목표

• 양손 모바일 조작 데이터를 수집하기 위한 저비용의 전신 원격 조작 시스템을 입증한다.
• 베이스 동작과 팔 동작을 연결하는 것이 모바일 조작을 위한 효과적인 모방 학습을 가능하게 함을 보인다.
• 정적 ALOHA 데이터세트를 통한 공동학습이 데이터 효율성과 성능을 향상시키는지 조사한다.
• 다양한 작업에서 여러 모방 학습 방법과의 호환성을 평가한다.

제안 방법

• 휠형 모바일 베이스를 통해 ALOHA 시스템을 확장하여 전신 원격 조작을 가능하게 하고 관절-팔 데이터와 베이스 속도 데이터를 수집한다.
• 행동을 16D 벡터로 형식화하여 14-자유도 팔 관절 위치와 2D 베이스 속도를 결합하고 엔드 투 엔드 모방 학습을 수행한다.
• 특정 전처리 없이 Mobile ALOHA 시演들을 정적 ALOHA 데이터와 섞어 공동학습을 적용하고 공유 모방 손실로 훈련한다.
• ACT, Diffusion Policy, VINN과의 호환성을 평가하되 궤적 일관성을 높이기 위해 액션 청크를 사용한다.
• 모바일과 정적 데이터세트에서 동등 확률로 샘플링하고 훈련 차원을 맞추기 위해 정적 액션을 제로패딩한다.
• 성공률과 데이터 효율성을 평가하기 위해 일곱 가지 모바일 조작 과제에 대한 광범위한 실제 실험을 수행한다.

실험 결과

연구 질문

• RQ1 공동학습을 사용하여 소수의 시演으로도 Mobile ALOHA가 복잡한 양손 모바일 조작 기술을 습득할 수 있는가?
• RQ2 기존 모방 학습 방법들(ACT, Diffusion Policy, VINN)이 Mobile ALOHA 데이터와 효과적으로 작동하는가?
• RQ3 정적 양손 데이터와의 공동학습이 모바일 조작 과제의 성능과 데이터 효율성을 향상시키는가?
• RQ4 데이터 혼합 비율과 사전 학습이 성능에 미치는 영향은 무엇인가?
• RQ5 모바일 조작 학습을 위한 실용적 데이터 수집 및 원격 조작의 인체공학적 요인은 무엇인가?

주요 결과

• 정적 ALOHA 데이터와의 공동학습은 다수의 과제에서 성공률을 향상시키며, 과제당 50회의 시演으로 최대 90%의 개선을 달성한다.
• Mobile ALOHA는 서랍 열기, 엘리베이터 호출, 요리 동작 등과 같은 과제에서 80-95%의 성공률로 고성능 양손 모바일 조작을 가능하게 한다.
• ACT, Diffusion Policy, VINN은 Mobile ALOHA 데이터와 호환되며, ACT와 Diffusion Policy가 공동학습에서 강한 성능을 보이고, VINN은 혼합 결과를 보인다.
• 공동학습은 데이터 효율성을 향상시키며, 도메인 내 35회의 시演으로도 공동학습이 50회의 비공동학습 정책보다 우수할 수 있다.
• 공동학습은 다양한 데이터 혼합에 강건하며 평가된 과제들에서 정적 ALOHA 데이터에 대한 사전학습보다 우수하다.