[논문 리뷰] Learning Robust Real-World Dexterous Grasping Policies via Implicit Shape Augmentation

Zoey Qiuyu Chen, Karl Van Wyk외 5명|arXiv (Cornell University)|2022. 10. 24.

Robot Manipulation and Learning인용 수 5

한 줄 요약

이 논문은 소수의 인간이 수행한 그립 데이터를 기반으로, 대상 물체의 형태와 해당하는 성공적인 그립을 다양하고 현실적인 데이터셋으로 증강하는 ISAGrasp를 제안한다. 잠재 공간에서 물체 메시와 그립을 변형함으로써, 네 손가락이 달린 Allegro 손으로 실세계에서의 성공률이 79%에 이르는 다재다비 그립 정책을 지도 학습할 수 있도록 한다.

ABSTRACT

Dexterous robotic hands have the capability to interact with a wide variety of household objects to perform tasks like grasping. However, learning robust real world grasping policies for arbitrary objects has proven challenging due to the difficulty of generating high quality training data. In this work, we propose a learning system (ISAGrasp) for leveraging a small number of human demonstrations to bootstrap the generation of a much larger dataset containing successful grasps on a variety of novel objects. Our key insight is to use a correspondence-aware implicit generative model to deform object meshes and demonstrated human grasps in order to generate a diverse dataset of novel objects and successful grasps for supervised learning, while maintaining semantic realism. We use this dataset to train a robust grasping policy in simulation which can be deployed in the real world. We demonstrate grasping performance with a four-fingered Allegro hand in both simulation and the real world, and show this method can handle entirely new semantic classes and achieve a 79% success rate on grasping unseen objects in the real world.

연구 동기 및 목표

• 제한된 인간의 시범 데이터로 실세계에서 강건하고 일반화 가능한 다재다비 그립 정책을 학습하는 데 도전한다.
• 소수의 전문가 시범 데이터에서 새로운 물체 형태와 성공적인 그립을 포함한 대규모, 다양한, 의미적으로 현실적인 데이터셋을 생성한다.
• 점군 기반의 그립 정책을 지도 학습하여, 미리 보지 못한 물체 종류와 실세계의 동적 환경에 일반화할 수 있도록 한다.
• 데이터 증강을 위해 음성적 형태 변형을 활용하여, 기존에 알려진 물체 종류를 초월한 일반화를 향상시킨다.

제안 방법

• 대응관계를 고려한 음성적 생성 모델(DIF-Net)을 사용하여, 학습된 잠재 공간에서 3차원 물체 메시와 해당 인간 그립을 변형함으로써 새로운 현실적인 물체 형태와 그립 쌍을 생성한다.
• 이 방법은 음성적 3차원 표현에서 형태를 변형하여 의미론적 구조를 유지하면서도 다양한 현실적인 물체 변형을 가능하게 한다.
• 변형된 물체의 그립은 거부 샘플링을 통해 동적 일관성과 시뮬레이션에서의 성공을 보장하도록 정밀 조정된다.
• 증강된 데이터셋을 사용하여, 물체의 점군에서 사전 그립 및 최종 그립 자세를 예측하는 지도 학습 정책을 훈련한다.
• 실시간 점군 입력을 받는 시뮬레이션 및 실세계 환경에서 네 손가락이 달린 Allegro 손에 정책을 구현한다.

실험 결과

연구 질문

• RQ1 소수의 인간 시범 데이터에서 음성적 형태 변형이 다양하고 의미론적으로 현실적인 물체 형태와 해당 성공 그립을 생성할 수 있는가?
• RQ2 이러한 증강된 데이터셋으로 훈련된 정책이 시뮬레이션과 실세계 구현에서 새로운, 보지 못한 물체 종류에 일반화될 수 있는가?
• RQ3 실세계 일반화 및 성공률 측면에서 음성적 형태 증강은 다른 데이터 증강 또는 이민 학습 접근법보다 어떻게 비교되는가?
• RQ4 극단적인 형태, 크기 또는 그립 요구 조건을 가진 물체에 적용했을 때 이 방법의 실패 유형과 한계는 무엇인가?

주요 결과

• ISAGrasp 파이프라인은 22개의 새로운 실세계 물체에서 79%의 성공률을 기록하여, 새로운 물체 종류에 대한 강력한 일반화 능력을 입증했다.
• 이 방법은 원본 인간 시범 데이터의 음성적 변형을 통해 다양하고 새로운 물체 형태 및 해당 그립을 성공적으로 생성했다.
• 제거 분석을 통해 음성적 형태 증강이 기준 데이터 증강 또는 증강되지 않은 이민 학습 대비 정책의 일반화 능력을 크게 향상시킨다는 것이 확인되었다.
• 정책은 시뮬레이션과 실세계 테스트에서 YCB, ShapeNet, GoogleScans를 포함한 여러 물체 종류에 효과적으로 일반화되었다.
• 실패 사례는 주로 매우 크거나 평평하거나 극도로 비대칭적인 물체(예: 빵 부스러기 상자, 가위, 참새)에서 관찰되었으며, 크기 및 형태 민감도를 드러냈다.