[논문 리뷰] Robust 3D Hand Pose Estimation in Single Depth Images: from Single-View CNN to Multi-View CNNs

Liuhao Ge, Hui Liang외 2명|arXiv (Cornell University)|2016. 06. 23.

Human Pose and Action Recognition참고 문헌 30인용 수 60

한 줄 요약

이 논문은 3개의 수직 평면에 3D 손 포인트 클라우드를 투영하여 단일 깊이 영상에서 정확하고 강건한 3D 손 자세 추정을 위한 다중 시점 CNN 방법을 제안한다. 각 시점에 대해 별도의 CNN을 사용해 2D 히트맵을 회귀하고, 학습된 자세 사전 지식을 활용해 이를 융합하여 정확한 3D 관절 위치를 복원한다. 이 방법은 최신 기술 수준의 성능과 실시간 추론(70fps 이상)을 달성하며, 특히 도전적인 자세 변화와 교차 데이터셋 설정에서 단일 시점 방법보다 정확도와 일반화 능력에서 뛰어나다.

ABSTRACT

Articulated hand pose estimation plays an important role in human-computer interaction. Despite the recent progress, the accuracy of existing methods is still not satisfactory, partially due to the difficulty of embedded high-dimensional and non-linear regression problem. Different from the existing discriminative methods that regress for the hand pose with a single depth image, we propose to first project the query depth image onto three orthogonal planes and utilize these multi-view projections to regress for 2D heat-maps which estimate the joint positions on each plane. These multi-view heat-maps are then fused to produce final 3D hand pose estimation with learned pose priors. Experiments show that the proposed method largely outperforms state-of-the-art on a challenging dataset. Moreover, a cross-dataset experiment also demonstrates the good generalization ability of the proposed method.

연구 동기 및 목표

• 고차원적이고 비선형적인 회귀와 깊이의 모호성으로 인해 여전히 어려운 단일 깊이 영상에서의 정확한 3D 손 자세 추정 문제를 해결하기 위해.
• 2D 관절 위치에서의 깊이 값에 의존하는 단일 시점 CNN의 한계를 극복하기 위해. 이는 작은 2D 국소화 오차에도 큰 깊이 오차를 초래할 수 있다.
• 서로 다른 3개의 수직 시점 간의 보완 정보를 활용해 히트맵 예측의 모호성을 줄이기 위해.
• 명시적인 손 모델이나 진짜 초기화 자료에 의존하지 않고, 학습 과정을 통해 암묵적으로 손 자세 사전 지식을 통합하기 위해.
• 시간적 정보나 모델 캘리브레이션 의존도 없이, 다양한 데이터셋 간의 일반화 능력을 향상시키기 위해.

제안 방법

• 입력 깊이 영상가 3D 포인트 클라우드로 변환되며, 이는 3개의 수직 평면(앞면, 측면, 상단)에 투영되어 3개의 2D 다중 시점 영상으로 생성된다.
• 각 투영된 시점에 대해 별도의 CNN을 병렬로 훈련하여, 각 시점의 2D 히트맵을 회귀한다. 각 히트맵은 해당 평면 상의 관절 위치의 확률 분포를 표현한다.
• 모든 3개의 시점에서 예측된 히트맵을 학습된 자세 사전 지식을 활용해 융합하여 최종 3D 관절 위치를 추정한다. 이는 모호성을 줄이고 정확도를 향상시킨다.
• 융합 과정은 손 해부학적 공간 제약 조건을 통합하여, 명시적인 모델 피팅이 필요 없이도 손의 운동 및 관절 관계를 암묵적으로 모델링한다.
• 전체 파이프라인은 엔드 투 엔드로 최적화되며, 다중 시점 투영 및 융합은 CPU에서, CNN 추론은 GPU에서 수행되어 실시간 성능을 확보한다.
• 명시적인 3D 모델 피팅이 필요 없으며, 진짜 초기화 자료나 시간적 정보도 필요 없어 실제 환경에서의 구현 유연성을 높인다.

실험 결과

연구 질문

• RQ1 단일 시점 회귀 대비 수직 투영에서의 깊이 신호를 더 잘 활용함으로써 다중 시점 CNN이 3D 손 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 3개의 수직 시점에서의 히트맵 융합이 단일 시점 히트맵에 다수의 뜨거운 영역이 존재할 경우 관절 국소화의 모호성을 어떻게 줄이는가?
• RQ3 재학습 없이도 진짜 초기화 자료 없이도, 새로운 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ4 학습 과정을 통해 암묵적으로 학습된 자세 사전 지식이 명시적인 손 모델이나 반복적 피팅에 의존하는 방법보다 정확도를 향상시키는가?
• RQ5 어려운 벤치마크 데이터셋에서 고정밀도를 유지하면서도 실시간 추론을 달성할 수 있는가?

주요 결과

• 제안된 방법은 [21]에서 제안한 최신 기술 수준의 방법보다 모든 오차 허용 범위에서 성능이 뛰어나며, 20mm 및 30mm 오차 기준 이내의 샘플 비율이 10–15% 더 높다.
• 15mm 이하의 오차 허용 범위에서는 방법의 성능가 [21]보다 略로 낮지만, 이는 히트맵 해상도가 낮기 때문일 것으로 보이며, 여전히 뛰어난 강건성을 확보하고 있다.
• 교차 데이터셋 테스트 세트에서 6명의 피험자에 대해 평균 오차가 22.8mm를 기록했으며, 캘리브레이션된 모델과 진짜 초기화 자료가 필요한 모델 기반 방법(FORTH, PSO, ICP)보다 뛰어난 성능을 보였다.
• 시점 변화에 대해 매우 강건한 성능을 보였으며, 피치 각도에 따른 평균 오차의 표준편차는 0.64mm로, [21] 방법의 0.79mm보다 낮았다.
• 전체 파이프라인이 14.1ms(70.9fps)에 실행되었으며, CNN 추론에 6.8ms가 소요되어, CPU 기반의 투영 및 융합에도 불구하고 실시간 성능을 입증했다.
• 정성적 결과에서 다중 시점 융합 방법은 단일 시점 회귀 대비 잘못된 손끝 예측(손바닥이나 배경에서의 오류)을 크게 줄였다.