[논문 리뷰] 3D Hand Shape and Pose Estimation from a Single RGB Image

Liuhao Ge, Zhou Ren외 5명|arXiv (Cornell University)|2019. 03. 03.

Human Pose and Action Recognition참고 문헌 58인용 수 33

한 줄 요약

이 논문은 단일 RGB 이미지에서 전체 3D 손 메시와 3D 손 자세를 추정하기 위한 Graph CNN 기반 접근법을 제안하고, 대규모 합성 데이터셋으로 학습하고 실제 데이터에서 깊이 맵으로의 약한 지도 학습으로 미세조정한다.

ABSTRACT

This work addresses a novel and challenging problem of estimating the full 3D hand shape and pose from a single RGB image. Most current methods in 3D hand analysis from monocular RGB images only focus on estimating the 3D locations of hand keypoints, which cannot fully express the 3D shape of hand. In contrast, we propose a Graph Convolutional Neural Network (Graph CNN) based method to reconstruct a full 3D mesh of hand surface that contains richer information of both 3D hand shape and pose. To train networks with full supervision, we create a large-scale synthetic dataset containing both ground truth 3D meshes and 3D poses. When fine-tuning the networks on real-world datasets without 3D ground truth, we propose a weakly-supervised approach by leveraging the depth map as a weak supervision in training. Through extensive evaluations on our proposed new datasets and two public datasets, we show that our proposed method can produce accurate and reasonable 3D hand mesh, and can achieve superior 3D hand pose estimation accuracy when compared with state-of-the-art methods.

연구 동기 및 목표

• VR/AR 애플리케이션을 위한 단일 RGB 이미지에서의 전체 3D 손 메시 추정의 필요성을 제시한다.
• 단일 이미지에서 조밀한 3D 손 메시의 정점과 3D 손 관절을 회귀하는 엔드-투-엔드 프레임워크를 개발한다.
• 정답 메시와 자세를 포함한 대규모 합성 데이터셋을 감독 신호로 활용한다.
• 합성-실제 간 차이를 해소하기 위한 깊이 맵을 이용한 약지도 학습 미세 조정 전략을 도입한다.
• 실제 배포에 적합한 실시간 구현이 가능한 방법을 제시한다.

제안 방법

• 입력 손 중심 RGB 이미지에서 2D 히트맵과 이미지 특징을 추출하기 위해 두 층으로 쌓은 hourglass 네트워크를 사용한다.
• 특징을 잠재 벡터로 인코딩하고 계층적 업샘플링 기반 그래프 아키텍처를 가진 Graph CNN을 통해 3D 손 메시 정점을 예측한다.
• 고정된 손 메시 토폴로지를 미리 정의하고 잠재 특징에서 1280개의 3D 메시 정점을 생성하기 위해 그래프 컨볼루션을 수행한다.
• 재구성된 메시로부터 선형으로 3D 손 관절을 추정하기 위해 단순화된 Graph CNN 회귀기를 사용한다.
• 히트맵, 메시, 포즈 손실을 포함한 대규모 합성 데이터세트에서 학습하고, 깊이 맵으로 메시를 렌더링하고 의사-지상 메시를 추가 가이드로 사용하는 약 지도 학습으로 실제 데이터에서 미세 조정한다.

실험 결과

연구 질문

• RQ1 Graph CNN 기반 모델이 단일 RGB 이미지에서 직접 전체 3D 손 메시 좌표를 생성할 수 있는가?
• RQ2 전체 3D 손 메시를 도입하는 것이 관절만 접근법보다 3D 손 자세 추정 정확도를 향상시킬 수 있는가?
• RQ3 합성 데이터를 실제 환경의 RGB 손 메시 추정을 위해 어떻게 활용하고, 깊이 기반의 약 지도 학습이 도메인 차이를 어떻게 메울 수 있는가?
• RQ4 깊이 맵으로 미세 조정할 때 의사-지상(mesh) 감독의 효과는 무엇인가?
• RQ5 제안된 방법이 일반 GPU에서 실시간 성능을 낼 수 있는가?

주요 결과

• 본 방법은 공용 데이터셋에서 최첨단 방법과 비교하여 정확하고 합리적인 3D 손 메시를 달성하고 우수한 3D 손 자세 추정 성능을 보인다.
• 그래프 CNN 기반 메시 생성은 직접 LBS나 MANO 기반 접근법보다 손 모양의 변이와 국부적 디테일을 더 잘 표현한다.
• 깊이 맵 손실과 의사-지상 메시 손실로의 약 지도 미세 조정은 실제 데이터에서 3D 감독이 없을 때 자세 추정 성능을 향상시킨다.
• 이 방법은 GPU에서 실시간으로 50fps 이상으로 실행되며, 전체 메시+포즈 출력의 평균 런타임은 19.9 ms이다.
• 메시와 포즈 주석이 포함된 대규모 합성 데이터셋(375,000 장의 손 RGB 이미지)이 효과적인 엔드-투-엔드 학습을 지원한다.
• RHD와 STB 데이터셋에서 본 방법은 3D 포즈 감독이 제한될 때 특히 여러 최첨단 3D 손 포즈 방법을 제치고 우수한 성능을 보인다.