[논문 리뷰] DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video

Priyanka Mandikal, Kristen Grauman|arXiv (Cornell University)|2022. 01. 31.

Robot Manipulation and Learning인용 수 12

한 줄 요약

DexVIP은 실생활 유튜브 영상에서 추출한 인간 손 자세 사전 지식을 활용하여, 인간과 유사한 손 자세와 기능적 그립 영역을 고려한 강화학습 에이전트를 통해 유연한 로봇 그립을 학습한다. 이 방법은 ContactDB에서 68%의 성공률을 기록하며 기존 접근 방식보다 20% 더 빠르게 학습하고, 실험실 기반 시범 없이도 새로운 물체로 효율적으로 확장된다.

ABSTRACT

Dexterous multi-fingered robotic hands have a formidable action space, yet their morphological similarity to the human hand holds immense potential to accelerate robot learning. We propose DexVIP, an approach to learn dexterous robotic grasping from human-object interactions present in in-the-wild YouTube videos. We do this by curating grasp images from human-object interaction videos and imposing a prior over the agent's hand pose when learning to grasp with deep reinforcement learning. A key advantage of our method is that the learned policy is able to leverage free-form in-the-wild visual data. As a result, it can easily scale to new objects, and it sidesteps the standard practice of collecting human demonstrations in a lab -- a much more expensive and indirect way to capture human expertise. Through experiments on 27 objects with a 30-DoF simulated robot hand, we demonstrate that DexVIP compares favorably to existing approaches that lack a hand pose prior or rely on specialized tele-operation equipment to obtain human demonstrations, while also being faster to train. Project page: https://vision.cs.utexas.edu/projects/dexvip-dexterous-grasp-pose-prior

연구 동기 및 목표

• 비용이 많이 들고 전용 실험실 환경이 필요한 인간 시범 없이도 다이너믹한 로봇 그립을 가능하게 하기 위해.
• 비구조적 인터넷 영상 데이터에서 학습함으로써 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 비구조적 인터넷 영상에서 유도된 인간 손 자세 사전 지식을 활용해 시뮬레이션 내 정책 학습을 이끌기 위해.
• 새로운 물체에 정책을 확장하기 위해 필요한 시간과 리소스를 줄이기 위해.
• 노이즈가 많은 센서 및 액추에이터 조건에서도 잘 일반화되는 방법을 개발하여 실제 환경 적용 가능성을 높이기 위해.

제안 방법

• 최신 컴퓨터 비전 모델을 사용해 유튜브 How-to 영상의 정제된 프레임에서 3D 인간 손 자세를 추출한다.
• 그립 성공, 기능 영역 예측, 인간 자세 유사도를 고려한 보상 함수를 사용해 시뮬레이션에서 딥 강화학습 에이전트를 훈련시킨다.
• 다중 구성 요소 보상 사용: R = R_grasp + λ1·R_touch + λ2·R_pose, 여기서 R_pose는 관찰된 인간 손 자세에서의 이탈을 벌금으로 부과한다.
• 이미지 기반 기능 예측을 통합해 에이전트가 기능적으로 유용한 그립 영역으로 유도한다.
• 노이즈 증강(프로 prioception, 물체 추적, 액추에이션, 픽셀 변형에 가우시안 노이즈 적용)을 적용해 내성적 강건성을 향상시킨다.
• VR, 모션 캡처, 또는 운동 텔레옵레레이션 없이도 유튜브에서 확보한 27개 물체의 그립 이미지 데이터셋을 정제한다.

실험 결과

연구 질문

• RQ1 비구조적 유튜브 영상에서의 시각적 데이터만으로도 다이너믹한 그립 정책을 효과적으로 학습할 수 있는가?
• RQ2 실생활 상호작용에서 유도된 인간 손 자세 사전 지식을 활용하면 표준 강화학습 기반 방법 대비 샘플 효율성과 성능이 향상되는가?
• RQ3 새로운 물체에 대해 새로운 전문가 시범 없이도 제안된 방법이 어떻게 확장되는가?
• RQ4 노이즈가 많은 센서 및 액추에이션 조건에서도 정책이 일반화되는가? 이는 실제 환경 적용 가능성을 시사하는가?
• RQ5 텔레옵레레이션 대비 영상 기반 지도 학습의 성능은 훈련 속도와 성공률 측면에서 어떻게 비교되는가?

주요 결과

• DexVIP는 ContactDB 벤치마크에서 68%의 그립 성공률를 기록하며, 손 자세 사전 지식이 없는 방법보다 뛰어난 성능을 보였다.
• 손 자세 사전 지식 덕분에 샘플 효율성이 향상되어, 다음으로 좋은 베이스라인인 GRAFF보다 20% 더 빠르게 학습했다.
• 모션 캡처 시범이 없는 11개의 비-ContactDB 물체에서 DexVIP는 65%의 성공률(68%에서 4%p 감소)을 유지했고, DAPG는 15%p 감소(59%에서 50%로)했다.
• 보상에 손 자세 사전 지식을 추가함으로써 성공률가 60%(기능 예측만 사용)에서 68%(전체 모델)로 상승했으며, 이는 사전 지식의 효과를 입증한다.
• 강한 노이즈(센서 및 액추에이션) 조건에서도 DexVIP는 64%의 성공률를 기록했고, 노이즈 없는 기반 모델보다 뛰어난 성능을 보여 내성적 강건성을 입증했다.
• 영상 기반 데이터 정제는 물체당 몇 초가 소요되며, 텔레옵레레이션의 약 5분 분량의 시범 대비 훨씬 더 신속하게 새로운 물체로 확장 가능하다.