[논문 리뷰] Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation

Sridhar Pandian Arunachalam, Sneha Silwal외 2명|arXiv (Cornell University)|2022. 03. 24.

Robot Manipulation and Learning인용 수 5

한 줄 요약

DIME는 저비용의 단일 RGB 카메라를 사용한 비전문가 인간 운용자에 의한 원격 조작를 통해 효율적인 다재성 조작을 가능하게 하는 학습 기반 프레임워크입니다. 상용 수준의 손 자세 추정 및 리타겟팅을 활용하여 고품질의 시연 데이터를 수집함으로써 샘플 효율적인 이mitation 학습을 실현하였으며, 시뮬레이션과 실제 환경 모두에서 Allegro 손을 사용한 복잡한 손안의 작업(뒤집기, 돌리기, 돌림)에서 높은 성공률을 달성하였습니다.

ABSTRACT

Optimizing behaviors for dexterous manipulation has been a longstanding challenge in robotics, with a variety of methods from model-based control to model-free reinforcement learning having been previously explored in literature. Perhaps one of the most powerful techniques to learn complex manipulation strategies is imitation learning. However, collecting and learning from demonstrations in dexterous manipulation is quite challenging. The complex, high-dimensional action-space involved with multi-finger control often leads to poor sample efficiency of learning-based methods. In this work, we propose 'Dexterous Imitation Made Easy' (DIME) a new imitation learning framework for dexterous manipulation. DIME only requires a single RGB camera to observe a human operator and teleoperate our robotic hand. Once demonstrations are collected, DIME employs standard imitation learning methods to train dexterous manipulation policies. On both simulation and real robot benchmarks we demonstrate that DIME can be used to solve complex, in-hand manipulation tasks such as 'flipping', 'spinning', and 'rotating' objects with the Allegro hand. Our framework along with pre-collected demonstrations is publicly available at https://nyu-robot-learning.github.io/dime.

연구 동기 및 목표

• 고차원의 로봇 손에 대한 다재성 조작 정책 학습에서의 샘플 비효율성 문제를 해결하기 위해.
• 전문가가 아닌 인간 운용자가 단일 RGB 카메라만을 사용하여 로봇 손을 원격 조작할 수 있도록 하여 고품질 시연 데이터 수집의 장벽을 낮추기 위해.
• 모델-자유 강화학습 및 비모수적 방법을 포함한 다양한 이mitation 학습 철학과 호환되는 프레임워크를 개발하여 시뮬레이션과 실제 환경 모두에 배포 가능하도록 하기 위해.
• 특수 하드웨어나 광범위한 校정이 없이도 저비용으로 쉽게 확보할 수 있는 시연 데이터가 높은 성능의 다재성 조작을 가능하게 할 수 있음을 입증하기 위해.

제안 방법

• 단일 RGB 카메라를 사용해 인간 손의 움직임을 촬영하고, 상용 수준의 손 자세 검출기를 적용하여 실시간으로 손끝 위치를 추정합니다.
• 운동학적으로 일관된 매핑을 사용해 추정된 인간 손끝 위치를 로봇 손의 운동학적 구조에 리타겟팅합니다.
• 실시간 시각 피드백을 인간 운용자에게 제공하여 최소한의 훈련으로도 직관적이고 저지연의 원격 조작를 가능하게 합니다.
• 이 파이프라인을 통해 시연 데이터를 수집하고, 이를 기반으로 시뮬레이션에서 행동 클론, BCRL, DAPG, PPO 등의 이mitation 학습 기법을 사용해 정책을 학습합니다.
• 실제 로봇 하드웨어에서 상태 기반 표현을 사용한 비모수적 최근접이웃 학습(INN)과 이미지 기반 표현을 사용한 시각 기반 이mitation(VINN)을 적용합니다.
• 불확실한 환경에서의 이미지 기반 이mitation 성능 향상을 위해 자기지도 학습 기반 표현 학습(BYOL)을 사용하여 시각적 특징 품질을 향상시킵니다.

실험 결과

연구 질문

• RQ1 단일 RGB 카메라와 비전문가 인간 운용자만을 사용하여 다재성 조작 정책을 효율적으로 학습시킬 수 있는가?
• RQ2 저비용, 최소한의 校정이 필요한 원격 조작 시스템을 통해 수집된 시연 데이터가 시뮬레이션과 실제 환경 모두에서 이mitation 학습에 효과적으로 기여할 수 있는가?
• RQ3 단순한 원격 조작 파이프라인을 통해 수집된 시연 데이터를 기반으로, 모수적(예: BC, PPO)과 비모수적(예: INN) 이mitation 학습 방법이 각각 어떤 성능을 보이는가?
• RQ4 대부분의 시연 데이터가 부족한 복잡하고 혼잡한 환경에서 표현 학습(BYOL 등)이 시각 기반 이mitation 성능에 어떤 영향을 미치는가?

주요 결과

• DIME는 각 작업당 약 100초 내로 시연 데이터 수집이 가능하며, 최소한의 인간 훈련과 특수 하드웨어 없이도 구현됩니다.
• 시뮬레이션 환경에서는 BCRL과 PPO를 사용한 시연 데이터에 대한 미세조정을 통해 부드럽고 인간과 유사한 정책을 학습하였으며, 원시 원격 조작 시연보다 뛰어난 성능을 보였고, PPO는 명시적으로 설계되지 않은 돌림 및 돌림 작업도 성공적으로 해결했습니다.
• 실제 Allegro 손에서는 INN이 90도 회전 작업에서 100% 성공률, 뒤집기 작업에서 80% 성공률를 기록했으며, 모든 작업에서 실패한 모수적 행동 클론보다 뛰어난 성능을 보였습니다.
• VINN은 이미지 기반 이mitation을 사용해 뒤집기 작업에서 90% 성공률, 90도 회전 작업에서 70% 성공률를 기록했지만, 시각적 복잡도와 혼잡한 환경에서의 표현 학습 부족으로 돌림 작업 성능은 저하되었습니다.
• 순수 행동 클론은 분포 이탈과 제한된 시연 커버리지로 인해 모든 작업에서 실패했으며, 이는 강화학습 미세조정의 필수성을 강조합니다.
• 이 프레임워크는 손 제어기, 시연 데이터, 학습 코드를 포함해 공개되어 향후 샘플 효율적인 다재성 조작 연구를 지원합니다.