[논문 리뷰] DART: Articulated Hand Model with Diverse Accessories and Rich Textures

Daiheng Gao, Yuliang Xiu외 7명|arXiv (Cornell University)|2022. 10. 14.

Robot Manipulation and LearningEngineering인용 수 18

한 줄 요약

DART는 325종의 수작업으로 제작된 텍스처와 3D 액세서리 50종을 추가한 포토리얼리스틱이고 동적 움직임이 가능한 손 모델로, Unity GUI를 통해 고해상도 합성 손 데이터를 생성할 수 있다. 이를 통해 DARTset—800만 장의 다양한 손 모양과 정확한 레이블이 부여된 이미지 데이터셋을 생성하였으며, 이는 손 자세 추정 및 메쉬 복원 작업에서 일반화 능력을 크게 향상시킨다.

ABSTRACT

Hand, the bearer of human productivity and intelligence, is receiving much attention due to the recent fever of digital twins. Among different hand morphable models, MANO has been widely used in vision and graphics community. However, MANO disregards textures and accessories, which largely limits its power to synthesize photorealistic hand data. In this paper, we extend MANO with Diverse Accessories and Rich Textures, namely DART. DART is composed of 50 daily 3D accessories which varies in appearance and shape, and 325 hand-crafted 2D texture maps covers different kinds of blemishes or make-ups. Unity GUI is also provided to generate synthetic hand data with user-defined settings, e.g., pose, camera, background, lighting, textures, and accessories. Finally, we release DARTset, which contains large-scale (800K), high-fidelity synthetic hand images, paired with perfect-aligned 3D labels. Experiments demonstrate its superiority in diversity. As a complement to existing hand datasets, DARTset boosts the generalization in both hand pose estimation and mesh recovery tasks. Raw ingredients (textures, accessories), Unity GUI, source code and DARTset are publicly available at dart2022.github.io

연구 동기 및 목표

• 기존의 MANO와 같은 손 모델에서 부족한 현실감 있는 텍스처와 액세서리 문제를 해결하여 포토리얼리스틱한 데이터 합성 능력을 향상시키기 위해.
• 자세, 조명, 배경, 액세서리 등 사용자 정의 설정이 가능한 정밀한 3D 애노테이션을 갖춘 다양한 고해상도 합성 손 이미지를 생성할 수 있도록 하기 위해.
• 사용자 정의 설정(자세, 조명, 배경, 액세서리 등)을 통해 스케일링 가능하고 상호작용 가능한 합성 손 데이터 생성 파이프라인을 제공하기 위해.
• 기존 벤치마크와 보완되며 대규모, 다양하고 고해상도의 손 데이터셋(DARTset)을 생성하여 모델의 일반화 능력을 향상시키기 위해.
• 텍스처, 액세서리, 소스 코드, GUI, DARTset를 포함한 완전한 공개 툴킷을 연구 목적용으로 제공하기 위해.

제안 방법

• 손목의 움직임과 액세서리 부착을 지원하기 위해 손목 강화 템플릿을 추가한 MANO 확장.
• 피부 톤, 기미(모반, 상처), 메이크업(자지러), 손톱 색상 등을 포함한 고해상도 수작업 2D 알베도 텍스처 325종 설계.
• UV 매핑과 메시 모델을 포함한 3D 텍스처가 적용된 액세서리 50종(링, 시계, 팔찌, 장갑 등) 제작.
• 사용자 정의 파rameter(자세, 카메라, 조명, 배경, 텍스처, 액세서리 등)를 기반으로 합성 이미지를 생성하기 위한 Unity 기반 GUI 및 렌더링 파이프라인 구축.
• DARTset—800,000장의 포토리얼리스틱한 손 이미지 생성. 이는 3D 손 메시, 2D/3D 관절 애노테이션, MANO 파라미터와 함께 제공.
• 자세 추정 및 메시 복원 작업에서 성능 평가를 위해 표준 지표(PA-MPJPE, PA-MPVPE)를 사용하고, 교차 데이터셋 학습 및 테스트를 수행.

실험 결과

연구 질문

• RQ1 풍부한 텍스처와 다양한 액세서리를 포함한 합성 손 데이터셋이 손 자세 추정 및 메시 복원에서 일반화 능력을 향상시키는가?
• RQ2 액세서리와 현실감 있는 텍스처의 포함 여부가 기계학습 기반 손 복원 모델의 성능에 어떤 영향을 미치는가?
• RQ3 DARTset을 실세계 데이터셋(FreiHAND 등)과 조합하여 사용할 경우 도메인 갭을 어느 정도 줄일 수 있는가?
• RQ4 DART 프레임워크와 DARTset는 실외 환경의 손 이미지로 일반화되는 모델을 효과적으로 훈련시키는 데 사용될 수 있는가?
• RQ5 DARTset의 자세와 텍스처의 다양성이 기존 벤치마크 대비 모델의 일반화 및 내구성에 있어 어떤가?

주요 결과

• DARTset는 손 자세 추정 및 메시 복원에서 일반화 능력을 크게 향상시키며, Integral Pose의 PA-MPJPE에서 7.8%의 상대적 향상과 CMR의 경우 5.9% 향상이 이루어졌다.
• DARTset와 FreiHAND를 혼합하여 교차 데이터셋 학습한 결과, CMR의 PA-MPVPE가 FreiHAND에서 8.9% 감소하여 DARTset가 실세계 데이터셋과 보완 가능함을 입증했다.
• 혼합 데이터로 훈련한 CMR 모델은 DARTset에서 PA-MPJPE/PA-MPVPE가 각각 4.84/3.46 cm로 높은 성능을 기록하여 합성 데이터셋에서의 우수한 성능을 입증했다.
• 혼합 데이터로 훈련한 METRO는 FreiHAND에서 PA-MPJPE/PA-MPVPE가 각각 3.82/3.73 cm를 기록하여 DARTset의 도메인 일반화 효과를 입증했다.
• Ablation 연구 결과, 액세서리만으로도 Integral Pose의 PA-MPJPE가 7.8% 향상되고 CMR의 경우 5.9% 향상되어 현실감과 성능 향상에 필수적인 역할임을 입증했다.
• DARTset의 대규모, 다양한 자세 분포 및 고해상도 텍스처는 기존 데이터셋보다 더 나은 일반화 능력을 제공하며, 특히 실세계 데이터와 조합 시 뛰어난 성능을 발휘한다.