[논문 리뷰] DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation

Yuzhe Qin, Binghao Huang외 3명|arXiv (Cornell University)|2022. 11. 17.

Robot Manipulation and Learning인용 수 12

한 줄 요약

DexPoint는 점군 입력을 사용하여 유사 환경에서의 다지성 조작을 위한 강화학습 프레임워크를 제안하며, 실제 세계에서 새로운 물체에 대해 제로샷 일반화를 가능하게 한다. 이는 상상 손 점군 증강과 접촉 기반의 조밀한 보상 신호를 도입하여 실제 세계에서의 정교한 조작 작업에서 높은 성공률을 달성하며, 실제 세계에서의 보정 학습이나 진짜 물체 상태 정보 없이도 가능하다.

ABSTRACT

We propose a sim-to-real framework for dexterous manipulation which can generalize to new objects of the same category in the real world. The key of our framework is to train the manipulation policy with point cloud inputs and dexterous hands. We propose two new techniques to enable joint learning on multiple objects and sim-to-real generalization: (i) using imagined hand point clouds as augmented inputs; and (ii) designing novel contact-based rewards. We empirically evaluate our method using an Allegro Hand to grasp novel objects in both simulation and real world. To the best of our knowledge, this is the first policy learning-based framework that achieves such generalization results with dexterous hands. Our project page is available at https://yzqin.github.io/dexpoint

연구 동기 및 목표

• 실제 세계 데이터나 물체 상태 감시 없이도 시뮬레이션에서 실제 세계로 전이되는 일반화 가능한 다지성 조작 정책을 가능하게 하기 위해.
• 실제 로봇 시스템에서의 가림, 노이즈, 접촉 센서 부족으로 인한 시뮬레이션에서 실제 세계로의 전이 과제를 극복하기 위해.
• 여러 물체 카테고리에 걸쳐, 추론 시에 볼 수 없는 인스턴스까지도 일반화할 수 있는 단일 정책을 훈련하기 위해.
• 진짜 물체 상태나 완벽한 감지기 의존도를 제거하고, 오직 원시 점군 관측에만 기반하여 작업하기 위해.
• 접촉 인식 보상 설계를 통해 고차원 제어 과제에서의 샘플 효율성과 학습 안정성을 향상시키기 위해.

제안 방법

• 로봇의 운동학 모델을 사용하여 실제 세계 점군 관측에 실제 손의 완전한 점군을 상상하여 추가함으로써, 가려진 손가락의 가시성을 향상시킴.
• 관측 공간에 접촉 상태를 추가하지 않고도 예측된 접촉 쌍에서 유도된 접촉 기반의 조밀한 보상 신호를 도입함.
• 원시 3차원 관측을 처리하기 위해 PointNet 기반 모델을 사용하여 PPO를 이용해 점군 기반 정책을 엔드 투 엔드로 훈련함.
• 물체의 카테고리와 형태에 걸쳐 일반화를 향상시키기 위해 시뮬레이션에서 다중 물체 훈련 설정을 사용함.
• 센서 노이즈와 환경 변화에 대한 내성을 향상시키기 위해 도메인 랜덤라이제이션과 데이터 증강을 적용함.
• 사전에 계산된 물체 모델에 의존하지 않고 실시간 점군 관측에 반응하는 닫힌 루프 제어 정책을 사용함.

실험 결과

연구 질문

• RQ1 순수하게 시뮬레이션에서 훈련된 점군 기반 정책이 예측되지 않은 물체에 대해 제로샷 시뮬레이션-실제 세계 전이를 달성할 수 있는가?
• RQ2 상상 손 기하학을 점군 입력에 추가함으로써, 가려진 상황에서의 안정성과 샘플 효율성이 향상되는가?
• RQ3 명시적인 접촉 센서 입력이 필요 없이도 접촉 기반의 조밀한 보상이 학습 안정성과 샘플 효율성을 향상시킬 수 있는가?
• RQ4 시뮬레이션에서의 다중 물체 훈련이 실제 세계에서 새로운 물체 카테고리로의 일반화에 어떤 영향을 미치는가?
• RQ5 진짜 물체 상태 정보에 접근할 수 없는 상태에서 오직 점군 관측에만 기반해 훈련된 정책이 실제 세계 작업으로 얼마나 일반화되는가?

주요 결과

• 26개의 혼합 카테고리 물체에 대해, 시뮬레이션에서 훈련된 정책은 예측되지 않은 물체에서 실제 세계에서의 抓握 작업에서 0.87 ± 0.03의 성공률을 기록했으며, EigenGrasp와 같은 베이스라인을 초월함.
• 문 열기 작업에서는 훈련된 문에서 0.72 ± 0.07의 성공률, 예측되지 않은 레버 형태의 새로운 문에서 0.67 ± 0.01의 성공률을 기록하여 제로샷 일반화를 입증함.
• 절단 분석 결과, 상상 손 점군과 접촉 기반 보상의 조합이 가장 높은 성능을 보였으며, 양 구성 요소의 효과를 확인함.
• 실제 세계에서의 보정 학습이나 진짜 물체 상태 정보에 접근하지 않고도 안정적인 훈련과 실제 세계 배포를 달성함.
• 병아리병보다 캔보다 더 나은 일반화 성능를 보이며, 이는 상상 점군이 가려진 상태에서 다지점 조율을 보완하는 데 기여하기 때문일 것임.
• 이 방법은 오직 점군 입력과 실제 세계 데이터 없이도, 시뮬레이션에서 실제 세계로의 다지성 조작에서 카테고리 수준의 일반화를 달성한 최초의 접근법임.