[논문 리뷰] DexYCB: A Benchmark for Capturing Hand Grasping of Objects

Yu-Wei Chao, Wei Yang외 10명|arXiv (Cornell University)|2021. 04. 09.

Hand Gesture Recognition Systems인용 수 7

한 줄 요약

DexYCB는 20개의 YCB 물체를 사용해 1,000회의 손-물체 상호작용 시퀀스를 촬영한 대규모 실세계 RGB-D 데이터셋을 소개한다. 이는 3차원 손과 물체 자세 추정을 위한 연합 추정을 가능하게 하며, 2D 검출, 6차원 물체 자세 추정, 3차원 손 자세 추정의 세 가지 과제에서 최신 기법을 평가한다. 이는 인간-로봇 수거 작업에서 안전한 로봇 그립 생성에 크게 기여한다.

ABSTRACT

We introduce DexYCB, a new dataset for capturing hand grasping of objects. We first compare DexYCB with a related one through cross-dataset evaluation. We then present a thorough benchmark of state-of-the-art approaches on three relevant tasks: 2D object and keypoint detection, 6D object pose estimation, and 3D hand pose estimation. Finally, we evaluate a new robotics-relevant task: generating safe robot grasps in human-to-robot object handover. Dataset and code are available at https://dex-ycb.github.io.

연구 동기 및 목표

• 자연스러운 그립 상호작용 동안 동시 3차원 손과 물체 자세를 촬영한 실세계 데이터셋의 부족을 해결하기 위해.
• 단일 벤치마크에서 2D 검출, 6차원 물체 자세 추정, 3차원 손 자세 추정의 연합 평가를 가능하게 하기 위해.
• 특히 인간-로봇 물체 수거를 위한 안전한 로봇 그립 생성에 있어 연합 손-물체 자세 추정의 영향을 평가하기 위해.
• 다중 시점 RGB-D 카메라와 인간 주석 기반 3차원 자세를 사용한 정확도와 자연스러운 운동을 보장하는 스케일러블하고 마커 없는 데이터 수집 파이프라인을 제공하기 위해.

제안 방법

• 시간적 및 외부 캘리브레이션을 수행한 8대의 RGB-D 카메라(RealSense D415)를 구축하여, 최소한의 망각 영역을 가진 대규모 테이블탑 작업 공간을 촬영하였다.
• 10명의 참가자가 20개의 YCB 물체를 사용해 다양한 그립 스타일과 물체 구성으로 그립 동작을 수행한 결과, 총 582만 장의 RGB-D 프레임을 확보하였다.
• 마커 기반 또는 센서 기반 시스템에서 유도되는 편향을 피하기 위해, 인력이 주석한 3차원 손과 물체 자세를 활용해 높은 정확도와 자연스러운 운동 표현을 확보하였다.
• 최신 기법을 3가지 과제에서 평가: 2D 물체 및 관절점 검출, 6차원 물체 자세 추정(YOLOX, YOLACT, Mask-RCNN 등의 방법 사용), 3차원 손 자세 추정(A2J 및 HRNet 기반 모델 사용).
• 로봇 기반의 새로운 과제를 제안: 예측된 6차원 물체 자세와 손 분할 결과를 기반으로 다양한 안전한 로봇 그립을 생성하며, 정밀도 및 커버리지 지표로 그립 품질을 측정하였다.
• 원거리 점 샘플링을 통해 각 물체당 100개의 성공적인 그립을 기준 집합으로 정의하였으며, 예측된 그립의 정합성은 공간 및 자세 기준 임계값(σt=0.05m, σq=0.25rad)을 사용해 평가하였다.

실험 결과

연구 질문

• RQ1 DexYCB는 손-물체 상호작용 과제에서 기존 데이터셋 대비 교차 데이터셋 일반화 성능에서 어떻게 비교되는가?
• RQ2 독립 학습 대비 연합 3차원 손과 물체 자세 추정이 2D 검출, 6차원 자세 추정, 3차원 손 자세 추정 성능 향상에 얼마나 기여하는가?
• RQ3 연합 손-물체 자세 추정이 인간-로봇 물체 수거를 위한 안전한 로봇 그립 생성 품질을 크게 향상시킬 수 있는가?
• RQ4 다른 백본 아키텍처(HRNet 대비 ResNet)와 입력 모odal(예: 깊이)가 교차 참가자 및 교차 시점 일반화 조건에서 3차원 손 자세 추정 성능에 미치는 영향은 어떠한가?
• RQ5 그립 생성의 주요 실패 원인은 무엇이며, 이는 물체 자세 오류나 손 분할 오류와 어떻게 관련이 있는가?

주요 결과

• DexYCB는 손-물체 상호작용 과제에서 교차 데이터셋 평가에서 관련 데이터셋을 압도적으로 뛰어넘어 우수한 일반화 성능을 보였다.
• HRNet32에 깊이 입력을 사용한 결과, 관측된 참가자(S0)에서 절대 MPJPE가 52.26 mm였지만, 관측되지 않은 시점(S2)에서는 성능이 80.63 mm로 떨어져 교차 시점 일반화의 과제를 드러냈다.
• A2J는 절대 MPJPE에서 기준 3차원 손 자세 추정 방법보다 우수한 성능(12.07 mm 대비 S0에서 HRNet32의 Procrustes MPJPE 6.83 mm)을 보였지만, 관절 운동 정확도에서는 어려움을 겪었다.
• 더 나은 물체 자세 추정 성능이 그립 생성의 정밀도 및 커버리지 향상에 크게 기여하였다; 최고 성능을 보인 물체 자세 추정 방법은 S1에서 높은 커버리지 확보를 하였으며, 그림 4의 정밀도-커버리지 곡선에서 이를 확인할 수 있었다.
• 그립 생성의 주요 실패 원인은 물체 자세의 정확도 부족(예: 0.05m 이동 오차)과 물체에 의해 부분적으로 가려진 손을 탐지하지 못한 경우였다.
• 손 분할과 추정된 물체 자세를 기반으로 한 기준 그립 생성 방법은 합리적인 성능을 보였지만, 주로 가림과 자세 오류로 인한 실패가 발생하여 모델 기반 손 형태 예측의 필요성을 시사하였다.