[논문 리뷰] DeepHPS: End-to-end Estimation of 3D Hand Pose and Shape by Learning from Synthetic Depth

Jameel Malik, Ahmed Elhayek외 5명|arXiv (Cornell University)|2018. 08. 28.

Human Pose and Action Recognition참고 문헌 47인용 수 5

한 줄 요약

이 논문은 심층 신경망에 통합된 새로운 손 자세 및 형태 레이어(HPSL)를 사용하여 단일 깊이 영상에서 3D 손 자세와 형태를 동시에 추정하는 엔드 투 엔드 딥 러닝 프레임워크인 DeepHPS를 제안한다. 이 방법은 대규모 합성 데이터셋인 SynHand5M(500만 장의 이미지)을 활용하여 NYU 및 ICVL 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 미세조정 후 각각 14.2mm 및 9.1mm의 3D 관절 위치 오차를 기록하였다.

ABSTRACT

Articulated hand pose and shape estimation is an important problem for vision-based applications such as augmented reality and animation. In contrast to the existing methods which optimize only for joint positions, we propose a fully supervised deep network which learns to jointly estimate a full 3D hand mesh representation and pose from a single depth image. To this end, a CNN architecture is employed to estimate parametric representations i.e. hand pose, bone scales and complex shape parameters. Then, a novel hand pose and shape layer, embedded inside our deep framework, produces 3D joint positions and hand mesh. Lack of sufficient training data with varying hand shapes limits the generalized performance of learning based methods. Also, manually annotating real data is suboptimal. Therefore, we present SynHand5M: a million-scale synthetic dataset with accurate joint annotations, segmentation masks and mesh files of depth maps. Among model based learning (hybrid) methods, we show improved results on our dataset and two of the public benchmarks i.e. NYU and ICVL. Also, by employing a joint training strategy with real and synthetic data, we recover 3D hand mesh and pose from real images in 3.7ms.

연구 동기 및 목표

• 다양한 손 형태, 시야각, 가림 현상에 걸쳐 3D 손 자세 및 형태 추정의 일반화 문제를 해결한다.
• 형태 변화가 적고 대규모로 주석을 달기 어려운 실제 데이터셋의 한계를 극복한다.
• 3D 관절 위치, 손 메시, 형태 파라미터를 동시에 최적화하는 통합된 딥 러닝 프레임워크를 개발한다.
• 운동학적 및 기하학적 제약 조건을 엔드 투 엔드 학습 가능한 네트워크에 통합하여 하이브리드 모델 기반 및 분류 기반 방법의 성능을 향상시킨다.
• 결손한 깊이 정보 및 가림 상황에서도 실제 깊이 영상에 대해 강력한 추론을 가능하게 한다.

제안 방법

• 자세 및 뼈 길이 스케일 파라미터를 사용하여 정방향 운동학을 수행하는 새로운 가미 가능한 손 자세 및 형태 레이어(HPSL)를 제안한다.
• 형태 파라미터와 형태 목표를 갖춘 유형 변형 손 모델을 통합하여 3D 손 메시를 재구성한다.
• 추정된 관절 위치와 형태 파라미터를 기반으로 선형 블렌딩 스킨닝을 적용하여 3D 손 표면을 애니메이션한다.
• 단일 깊이 영상에서 손 자세, 뼈 스케일, 형태 파라미터를 회귀하는 CNN을 사용하여 전체 네트워크를 엔드 투 엔드로 학습시킨다.
• 정확한 관절, 메시, 세그먼테이션의 진짜 값을 갖춘 500만 장의 깊이 영상가 포함된 SynHand5M 합성 데이터셋을 활용하여 지도 학습을 수행한다.
• 실제 데이터셋(NYU, ICVL)을 사용하여 공동 학습 전략을 적용해 사전 훈련된 모델을 미세조정함으로써 실제 데이터에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 다양한 손 형태에 걸쳐 높은 정확도와 일반화 능력을 갖추고 단일 깊이 영상에서 3D 손 자세와 형태를 동시에 추정할 수 있는가?
• RQ2 대규모 형태 및 시야각 변화를 포함한 합성 데이터셋은 3D 손 추정 모델의 일반화 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 운동학적 및 기하학적 제약 조건을 강제하는 가미 가능한 손 모델 레이어(HPSL)를 통합할 경우, 기존의 회귀 기반 방법에 비해 성능 향상은 어느 정도 이루어지는가?
• RQ4 합성 데이터로 사전 훈련된 모델은 결손한 깊이 정보 및 가림 상황에서도 실제 깊이 영상에 효과적으로 일반화되는가?
• RQ5 엔드 투 엔드 학습을 통한 자세, 형태, 메시 재구성의 공동 최적화는 기존의 하이브리드 또는 분류 기반 접근 방식을 능가하는가?

주요 결과

• 미세조정 후 DeepHPS 모델은 NYU 데이터셋에서 14.2mm의 3D 관절 위치 오차를 기록하여 최신 기술 수준의 하이브리드 방법을 초월한다.
• ICVL 벤치마크에서 미세조정된 DeepHPS 모델은 9.1mm의 3D 관절 위치 오차를 기록하였으며, 기준 모델 대비 10.12% 향상된 성능을 보였다.
• 모델은 실제 깊이 영상으로의 일반화 능력이 뛰어나며, 깊이 정보가 결손되고 손가락이 가려진 경우에도 타당한 3D 손 메시를 생성한다.
• SynHand5M 데이터셋은 성능 향상에 기여하여, 합성 벤치마크에서 6.3mm의 3D 관절 오차와 11.8mm의 버텍스 오차를 기록하였다.
• HPSL 레이어는 물리적 및 운동학적 제약 조건을 효과적으로 강제하여 더 현실적이고 일관성 있는 3D 손 메시 예측을 가능하게 하였다.
• 실제 및 합성 데이터에 대한 공동 학습은 강건성과 정확도를 향상시켰으며, 도메인 갭을 줄이기 위해 합성 데이터의 효과성을 입증하였다.