[논문 리뷰] Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

Cheng Chi, Zhenjia Xu외 6명|arXiv (Cornell University)|2024. 02. 15.

Modular Robots and Swarm Intelligence인용 수 4

한 줄 요약

UMI는 핸드헬드 그립퍼와 피시아이카메라, 자이로스코프를 사용하여 실외에서 촬영한 인간의 동작을 직접 로봇 정책으로 이식할 수 있는 이식성 있고 저비용의 프레임워크를 소개한다. 지연 시간을 일치시키는 추론, 상대 궤적 동작 표현 방식, 그리고 디퓨전 정책을 활용하여 UMI는 다양한 동적이고 이완성이며 장기적인 작업에 대해 여러 로봇 플랫폼에서 제로샷 일반화를 달성한다.

ABSTRACT

We present Universal Manipulation Interface (UMI) -- a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI's versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI's hardware and software system is open-sourced at https://umi-gripper.github.io.

연구 동기 및 목표

• 실외에서의 로봇 하드웨어가 필요 없이 복잡한 실제 세계의 인간 조작 기술을 로봇으로 이식하는 데 도전한다.
• 기존 핸드헬드 그립퍼 시스템의 한계, 즉 부족한 시각적 맥락, 동작의 모호성, 지연 시간 불일치, 부적절한 정책 표현 방식을 극복한다.
• 비전문가가 사용할 수 있는 저비용이고 직관적인 인터페이스를 통해 확장 가능한 탈중앙화된 데이터 수집을 가능하게 한다.
• 다양한 환경과 물체에 대해 제로샷 일반화가 가능한 하드웨어에 종속되지 않는 정책 학습 프레임워크를 개발한다.

제안 방법

• GoPro 카메라(155° 피시아이 렌즈)와 측면 거울을 장착한 핸드헬드 그립퍼를 사용하여 시각적 맥락을 향상시키고 암묵적인 스테레오 추적을 가능하게 한다.
• GoPro의 자이로스코프와 고유의 SLAM 시스템을 활용하여 단안 영상에서 정밀한 6-자유도 궤적을 복구함으로써 척도 모호성과 운동 왜곡의 영향을 감소시킨다.
• 정책 추론 중 기록된 시연 지연 시간과 실시간 시스템 지연 시간을 일치시키기 위해 추론 시 지연 시간을 보정하는 기법을 적용한다.
• 절대 자세가 아닌 상대 궤적을 동작으로 표현함으로써 정책 학습을 전역 좌표계 정밀도에서 분리한다.
• 다양한 인간 시연에서 내재된 다중 모달 동작 분포를 모델링하기 위해 디퓨전 정책을 적용한다.
• 운동역학적 타당성을 검토하여 수집된 데이터를 필터링함으로써 실물 로봇에 대한 후속 정책 배포를 보장한다.

실험 결과

연구 질문

• RQ1 최소한의 센서를 갖춘 저비용이고 이식 가능한 핸드헬드 그립퍼 시스템이 복잡한 조작 작업에 대해 고정밀 동작 복구를 가능하게 할 수 있는가?
• RQ2 시연와 추론 간의 지연 시간 불일치 문제를 어떻게 완화하여 실시간 배포에서 정책의 강건성을 확보할 수 있는가?
• RQ3 절대 자세 회귀 방식에 비해 상대 궤적 동작 표현 방식이 정책 일반화에 얼마나 기여하는가?
• RQ4 다양한 실외에서 촬영한 인간 시범을 기반으로 훈련된 단일 정책 아키텍처가 새로운 물체와 환경에 대해 제로샷 일반화를 달성할 수 있는가?
• RQ5 광각 피시아이 렌즈와 측면 거울이 제공하는 시각적 맥락이 동작 복구 정확도와 정책 성능에 어떻게 기여하는가?

주요 결과

• UMI의 SLAM 시스템은 위치에 대해 평균 절대 궤적 오차(MAE) 6.1 mm, 회전에 대해 3.5°를 기록했으며, 두 그립퍼 간의 상대 자세 오차는 10.1 mm와 0.8°였다.
• -cup 정렬 작업에서 UMI의 데이터 수집 속도는 원격 조작보다 3배 이상 빠르며, 인간 손동작 속도의 48%에 도달했다.
• 동적 던지기 작업에서 UMI는 인간 손동작 속도의 64%를 기록했고, 원격 조작는 15분 동안도 단 한 번의 성공적인 시범도 기록하지 못했다.
• UMI로 훈련된 정책는 재학습 없이도 새로운 환경과 물체, 특히 미리 보지 못한 물체와 레이아웃에 대해 제로샷 일반화가 가능했다.
• 이 프레임워크를 통해 인간 시범 데이터만으로도 이완성 스웨터 접기, 동적 물체 던지기, 정밀한 접시 닦기와 같은 복잡한 행동을 배포할 수 있었다.
• UMI의 데이터 수집은 확장 가능하고 접근성이 높으며, 모든 데이터가 하나의 MP4 파일에 저장되어 지리적으로 분산된 비전문가의 참여가 가능했다.