[논문 리뷰] Local and Global Point Cloud Reconstruction for 3D Hand Pose Estimation

Ziwei Yu, Linlin Yang외 2명|arXiv (Cornell University)|2021. 12. 13.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 단일 RGB 영상에서 맞춤형 3D 손 템플릿과 병합된 局소-전반적(point cloud reconstruction) 전략을 사용하여 3D 손 자세 추정 및 완전한 3D 손 포인트 클라우드 재구성에 대한 새로운 프레임워크를 제안한다. 이 방법은 3D 손 자세 추정에서 최신 기술을 초월하며, 높은 품질, 현실성 있고 완전한 3D 손 포인트 클라우드를 생성한다. 새로운 다중 시점 RGB-D 데이터셋과 네 개의 공개 벤치마크에서 검증되었다.

ABSTRACT

This paper addresses the 3D point cloud reconstruction and 3D pose estimation of the human hand from a single RGB image. To that end, we present a novel pipeline for local and global point cloud reconstruction using a 3D hand template while learning a latent representation for pose estimation. To demonstrate our method, we introduce a new multi-view hand posture dataset to obtain complete 3D point clouds of the hand in the real world. Experiments on our newly proposed dataset and four public benchmarks demonstrate the model's strengths. Our method outperforms competitors in 3D pose estimation while reconstructing realistic-looking complete 3D hand point clouds.

연구 동기 및 목표

• 단일 RGB 영상에서 정확한 3D 손 자세와 형태 추정의 과제를 해결하기 위해, 특히 높은 관절 운동성과 자기 음영으로 인한 도전에 대응한다.
• 기존 방법들이 카메라 측면 표면만 재구성하거나 MANO와 같은 매개변수 모델에 의존하여 매끄럽고 현실감 없는 형태를 생성하는 한계를 극복한다.
• 복잡한 메시 애너테이션을 필요로 하지 않고도 세밀한 기하학적 세부 정보를 포착하는 비매개변수적이고 고해상도의 3D 손 포인트 클라우드 재구성 방법을 개발한다.
• 완전한 3D 포인트 클라우드, 3D 관절 애너테이션, 그리고 피팅된 MANO 파라미터를 포함한 새로운 다중 시점 RGB-D 데이터셋(MVHand)을 제안하여 현실적인 평가를 가능하게 한다.
• 공유된 풍부한 잠재 표현을 통해 포인트 클라우드 재구성과 자세 추정을 동시에 학습함으로써 두 작업의 품질을 향상시킬 수 있음을 보여준다.

제안 방법

• 이 방법은 3D 손 자세 추정과 완전한 3D 포인트 클라우드 재구성을 동시에 최적화하는 학습 가능한 이미지-포인트 클라우드 인코더-디코더 아키텍처를 사용한다.
• 손 기하학에 특화된 새로운 3D 손 템플릿 초기화 방식을 도입하여 재구성에 적합한 초기 3D 포인트 분포를 가능하게 한다.
• 손을 국소 구성요소(손가락)와 전반적 구조로 분해하는 의미적 그룹화 전략을 사용하여 세밀한 디테일의 계층적 재구성을 가능하게 한다.
• 지역 및 전반적 디코딩 전략을 통합한 방식을 사용한다: 국소 헤드는 개별 손가락을 재구성하고, 전반적 헤드는 전체 손을 재구성함으로써 정확도와 세부 정보를 향상시킨다.
• FoldingNet과 AtlasNet에서 영감을 얻은 포인트 클라우드 오토인코딩 기법을 사용하며, 손에 특화된 템플릿을 적용하여 재구성을 유도한다.
• 재구성 손실(Chamfer 거리 및 Earth Mover’s 거리)과 자세 추정을 위한 3D 관절점 회귀 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 단일 RGB 영상으로 카메라 측면 외의 비가시 표 superficies까지 포함한 완전하고 현실적인 3D 손 포인트 클라우드를 재구성할 수 있는가?
• RQ2 국소(손가락 수준)와 전반적(전체 손)의 포인트 클라우드 재구성 통합이 단일 전반적 재구성 헤드에 비해 기하학적 정확도와 세부 정보를 향상시키는가?
• RQ3 포인트 클라우드와 자세 재구성을 동시에 학습한 잠재 표현은 단지 자세 추정이나 단지 기하학적 재구성만 수행하는 방법보다 성능이 뛰어나게 되는가?
• RQ4 기본 2D 격자나 일반적인 3D 메시 초기화 방식에 비해 제안된 템플릿 초기화 방식은 재구성 품질과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 완전한 3D 포인트 클라우드 재구성 브랜치의 포함이 3D 손 자세 추정 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 방법은 네 개의 공개 벤치마크와 새로 도입된 MVHand 데이터셋에서 최신 기술을 초월하는 3D 손 자세 추정 성능을 달성하였으며, 포인트 클라우드 재구성 기능이 없는 변종 대비 평균 20% 낮은 오차를 기록했다.
• 모델은 빌드된 3D 손 포인트 클라우드를 높은 기하학적 정확도로 재구성하며, 시각적 비교를 통해 개별 손가락의 명확한 구분과 더 부드러운 표면을 보여주었다.
• STB 및 RHD 벤치마크에서 [Boukhayma 등]보다 낮은 Chamfer 거리(CD)와 Earth Mover’s 거리(EMD)를 기록하였으며, CD 값은 각각 0.243과 0.450로, 뛰어난 재구성 품질을 입증했다.
• 절단 분석 결과, 포인트 클라우드 디코더를 제거할 경우 평균 3D 자세 오차가 20% 증가하여 재구성이 학습된 잠재 표현의 자세 추정 성능 향상에 기여한다는 것을 입증했다.
• 국소 3D 손 템플릿 초기화 방식은 CD 및 EMD 측면에서 2D 격자 및 일반적인 3D 손 초기화 방식보다 우수한 성능을 보이며, 정확한 재구성을 유도하는 효과성을 입증했다.
• 비록 [Yang 등]의 2.5D 투영 기반 EMD 점수는 略로 높지만, 전체 3D 재구성에서 더 깔끔하고 세밀한 기하학적 구조를 제공함으로써 더 높은 품질의 포인트 클라우드를 생성한다.