[논문 리뷰] ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation

Zicong Fan, Omid Taheri외 5명|arXiv (Cornell University)|2022. 04. 28.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 다기능적인 물체를 두 손으로 민감하게 다루는 데 사용할 수 있는 첫 번째 대규모 데이터셋인 ARCTIC를 소개한다. 이 데이터셋은 다중 시점 RGB 영상과 정밀한 3D 손 및 물체 메시 애너테이션을 포함한다. 또한 일관된 운동 재구성과 상호작용 필드 추정이라는 두 가지 새로운 과제를 제안하고, 이를 위한 베이스라인인 ArcticNet과 InterField를 제시하여, ARCTIC에서의 사전 훈련을 통해 손 및 물체 자세 추정과 같은 후행 과제에서 성능 향상을 입증하였다.

ABSTRACT

Humans intuitively understand that inanimate objects do not move by themselves, but that state changes are typically caused by human manipulation (e.g., the opening of a book). This is not yet the case for machines. In part this is because there exist no datasets with ground-truth 3D annotations for the study of physically consistent and synchronised motion of hands and articulated objects. To this end, we introduce ARCTIC -- a dataset of two hands that dexterously manipulate objects, containing 2.1M video frames paired with accurate 3D hand and object meshes and detailed, dynamic contact information. It contains bi-manual articulation of objects such as scissors or laptops, where hand poses and object states evolve jointly in time. We propose two novel articulated hand-object interaction tasks: (1) Consistent motion reconstruction: Given a monocular video, the goal is to reconstruct two hands and articulated objects in 3D, so that their motions are spatio-temporally consistent. (2) Interaction field estimation: Dense relative hand-object distances must be estimated from images. We introduce two baselines ArcticNet and InterField, respectively and evaluate them qualitatively and quantitatively on ARCTIC. Our code and data are available at https://arctic.is.tue.mpg.de.

연구 동기 및 목표

• 이중 손으로 조작하는 물체에 대한 대규모, 물리적으로 일관되고 시간적으로 동기화된 3D 데이터셋의 부족을 해결하기 위해.
• 단일 영상에서 손과 물체의 시공간적으로 일관된 3D 재구성을 연구하기 위해.
• 이진 접촉을 넘어서는 동적 손-물체 상호작용, 즉 조밀한 상대적 공간 구성 요소를 포함하여 연구하기 위해.
• 복잡하고 민감한 조작 시나리오에서 물리적으로 타당한 손-물체 역학을 학습하기 위한 벤치마크를 제공하기 위해.
• 풍부한 자세와 접촉 변동성을 포괄함으로써 실제 조작 작업으로의 일반화를 지원하기 위해 모델 개발을 지원하기 위해.

제안 방법

• 데이터셋은 54대의 고해상도 Vicon 모션 캡처 카메라와 다중 시점 RGB 카메라를 동기화하여 촬영하여 손과 물체의 정확한 3D 메시 재구성을 가능하게 하였다.
• 손과 물체의 메시는 MoSh++ 및 SMPL-X/MANO 모델을 사용하여 마커 데이터에 피팅하여 고정밀도 3D 애너테이션을 확보하였다.
• 데이터셋은 10명의 참가자가 11종의 물체(예: 가위, 노트북)를 다루며 촬영한 210만 장의 RGB 프레임을 포함하며, 이는 8개의 이얼로센트 및 1개의 이고센트 뷰에서 촬영되었다.
• 논문은 두 가지 새로운 과제를 도입하였다: (1) 단일 영상에서의 일관된 운동 재구성, (2) 손의 정점과 물체 표면 간의 조밀한 상대 거리 추정.
• 베이스라인으로는 운동 재구성을 위한 ArcticNet(재귀적 시간 모델링을 갖춘 인코더-디코더)과 상호작용 필드 추정을 위한 InterField(단일 프레임 및 재귀적)가 포함되어 있다.
• 접촉 정보는 GRAB에서 유도된 개선된 파이프라인을 활용하여 손과 물체 간의 세밀한 동적 접촉 레이블링을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 단일 영상에서 자세, 접촉, 관절의 시공간 일관성을 유지하면서 두 손과 물체의 3D 운동을 재구성할 수 있는가?
• RQ2 RGB 영상에서 손 정점과 물체 표면 간의 조밀한 상대 거리를 추정하여 동적 상호작용 필드를 모델링할 수 있는가?
• RQ3 ARCTIC에서의 사전 훈련이 손 및 강체 물체 재구성과 관련된 후행 과제 성능에 얼마나 기여하는가?
• RQ4 ARCTIC의 상호작용 다양성과 동적 특성은 기존 데이터셋 대비 자세 변동성과 접촉 복잡성 측면에서 어떻게 비교되는가?
• RQ5 ARCTIC에서 훈련된 모델은 물체가 관절이 있는지 여부에 관계없이 실제 조작 작업에 일반화될 수 있는가?

주요 결과

• ARCTIC에서 ArcticNet을 사전 훈련한 결과, 손 자세 추정에 대해 HO3D 벤치마크에서 MPJPE(스케일-트랜슬레이션 정렬) 오차가 9.2% 향상되었다.
• 물체 재구성의 경우, ARCTIC에서 사전 훈련한 후 HO3D에서 미세조정할 때 정점 간 거리 오차(Root 정렬)가 7.1% 향상되었다.
• 상호작용 필드 추정 베이스라인인 InterField-SF는 HO3D로 일반화되었으며, 기존 데이터셋에서 조밀한 공간 상호작용 모델링의 가능성을 입증하였다.
• 정성적 결과로 ARCTIC는 복잡하고 동적인 손-물체 상호작용을 고자기 자세 및 접촉 변동성으로 잘 포착하고 있으며, 기존 데이터셋을 초월하는 복잡도를 보였다.
• 이 데이터셋은 깊이 모호성과 가림 현상 문제를 해결하면서 정확한 접촉과 관절 조절을 포함한 물리적으로 일관된 운동 재현을 가능하게 하였다.
• ARCTIC는 향후 3D 관절 물체 추론 연구의 기반을 제공하며, 알려지지 않은 물체 형태로의 일반화가 가능한 모델 개발을 지원한다.