[논문 리뷰] Depth-Based 3D Hand Pose Estimation: From Current Achievements to Future Goals

Shanxin Yuan, Guillermo Garcia-Hernando외 22명|arXiv (Cornell University)|2017. 12. 11.

Hand Gesture Recognition Systems참고 문헌 47인용 수 6

한 줄 요약

이 논문은 2017년 Hands In the Million 챌린지의 상위 10개 방법을 평가하여 단일 프레임 추정, 추적, 손-물체 상호작용 분야에서 깊이 기반 3D 손 자세 추정의 현재 상태를 분석한다. 연구 결과, 3D 볼륨형 컨볼루션 네트워크(CNN)가 2D CNN보다 우수하며, 관절 구조를 명시적으로 모델링할 경우 가림 현상으로 인한 오차가 감소하고, 중간 시점에서 평균 오차는 약 10 mm로 낮아지지만, 극단적인 시점이나 알려지지 않은 손 모양에서는 성능이 크게 떨어지는 것으로 나타났다.

ABSTRACT

In this paper, we strive to answer two questions: What is the current state of 3D hand pose estimation from depth images? And, what are the next challenges that need to be tackled? Following the successful Hands In the Million Challenge (HIM2017), we investigate the top 10 state-of-the-art methods on three tasks: single frame 3D pose estimation, 3D hand tracking, and hand pose estimation during object interaction. We analyze the performance of different CNN structures with regard to hand shape, joint visibility, view point and articulation distributions. Our findings include: (1) isolated 3D hand pose estimation achieves low mean errors (10 mm) in the view point range of [70, 120] degrees, but it is far from being solved for extreme view points; (2) 3D volumetric representations outperform 2D CNNs, better capturing the spatial structure of the depth data; (3) Discriminative methods still generalize poorly to unseen hand shapes; (4) While joint occlusions pose a challenge for most methods, explicit modeling of structure constraints can significantly narrow the gap between errors on visible and occluded joints.

연구 동기 및 목표

• 깊이 기반 3D 손 자세 추정 분야에서 최신 기술 수준을 대규모 벤치마크를 통해 평가하기 위해.
• 단일 프레임 추정, 추적, 손-물체 상호작용 작업에서의 성능 저하 요인을 규명하기 위해.
• 다양한 시점, 손 모양, 가림 수준에서 방법의 일반화 능력을 평가하기 위해.
• 네트워크 아키텍처, 데이터 표현, 공간 모델링이 추정 정확도에 미치는 영향을 조사하기 위해.
• 미해결 과제인 일반화, 가림, 극단적 시점 문제를 규명하여 향후 연구를 이끌기 위해.

제안 방법

• HIM2017 챌린지의 최신 10개 방법을 단일 프레임 자세 추정, 3D 손 추적, 손-물체 상호작용 세 가지 작업에서 평가하였다.
• 100만 개 이상의 깊이 영상과 프레임당 21개의 관절 앵커를 포함하는 BigHand2.2M와 FHAD를 결합한 대규모 데이터셋을 사용하였다.
• 2D 및 3D CNN 아키텍처를 비교하였으며, 3D 볼륨 표현 방식이 공간적 구조를 더 잘 포착하여 뛰어난 성능을 보였다.
• 실패 원인을 규명하기 위해 시점 범위, 관절 가시성, 손 모양 변화에 따른 오차 분포를 분석하였다.
• 감지 기반 및 회귀 기반 접근 방식을 사용하여, 명시적인 공간 제약 조건이 있는지 여부에 따라 성능을 비교하였다.
• 손 분할 기술(딥러닝 기반 및 이미지 처리 기반)이 상호작용 작업 정확도에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 시점 각도와 가림 수준에서 2D와 3D CNN 아키텍처의 성능은 어떻게 다른가?
• RQ2 현재 방법들이 알려지지 않은 손 모양과 극단적 시점에 얼마나 잘 일반화되는가?
• RQ3 명시적인 공간적 및 구조적 제약 조건이 가림된 관절의 오차를 줄이는 데 얼마나 효과적인가?
• RQ4 가시 관절과 가림된 관절 간의 성능 격차는 무엇이며, 관절 관계를 모델링함으로써 이를 줄일 수 있는가?
• RQ5 왜 방법들은 손-물체 상호작용에서 어려움을 겪는가? 어떤 설계 선택이 이러한 상황에서의 강건성을 향상시키는가?

주요 결과

• 3D 볼륨 표현 방식을 사용하는 3D CNN이 깊이 데이터의 공간적 구조를 더 잘 포착하여 2D CNN보다 뛰어난 성능을 보였다.
• 고립된 3D 손 자세 추정에서 [70°, 120°] 시점 범위 내 평균 오차는 10 mm로 낮아졌지만, 극단적 시점(예: [0°, 10°])에서는 성능이 크게 떨어졌다.
• 명시적인 공간 제약 조건(예: 뼈 구조 모델링)을 적용한 회귀 기반 방법이 제약 조건이 없는 방법보다 가림된 관절에서 더 높은 성능을 보였다.
• 구분 기반 방법은 알려지지 않은 손 모양으로의 일반화가 떨어지며, 현재의 데이터 증강 또는 척도 추정 기법으로는 국소적 형태 변화를 잘 모델링하지 못한다.
• 손 분할을 명시적으로 처리하는 방법(예: 딥러닝 기반)은 이미지 처리 기반 방법보다 손-물체 상호작용 작업에서 더 낮은 오차(25.0 mm)를 기록했으며, 후자는 29.2 mm의 오차를 기록했다.
• 감지와 자세 추정을 통합한 추적 방법(예: RCN-3D_track)이 단순히 감지나 자세 추정에 의존하는 방법보다 더 뛰어난 성능을 보였으며, 특히 다수의 손이나 복잡한 장면에서 두드러졌다.