[논문 리뷰] Simultaneous Hand Pose and Skeleton Bone-Lengths Estimation from a Single Depth Image

Jameel Malik, Ahmed Elhayek외 1명|arXiv (Cornell University)|2017. 12. 08.

Hand Gesture Recognition Systems참고 문헌 31인용 수 7

한 줄 요약

이 논문은 심층 신경망에 학습 가능한 스케일 파am터와 미분 가능한 정방향 운동역학 레이어를 통합한 새로운 하이브리드 딥러닝 방법을 제안한다. 이 방법은 단일 깊이 이미지에서 동시에 3D 손 자세와 손 뼈대 뼈 길이를 추정한다. 통합된 대용량 변동성이 큰 데이터셋(HandSet)에서 엔드 투 엔드 훈련을 통해 ICVL 및 통합 데이터셋에서 최신 기술 수준(SOTA)의 정확도를 달성하였으며, 고정된 손 기하학을 가정하는 이전 방법들보다 우수한 성능을 보였다.

ABSTRACT

Articulated hand pose estimation is a challenging task for human-computer interaction. The state-of-the-art hand pose estimation algorithms work only with one or a few subjects for which they have been calibrated or trained. Particularly, the hybrid methods based on learning followed by model fitting or model based deep learning do not explicitly consider varying hand shapes and sizes. In this work, we introduce a novel hybrid algorithm for estimating the 3D hand pose as well as bone-lengths of the hand skeleton at the same time, from a single depth image. The proposed CNN architecture learns hand pose parameters and scale parameters associated with the bone-lengths simultaneously. Subsequently, a new hybrid forward kinematics layer employs both parameters to estimate 3D joint positions of the hand. For end-to-end training, we combine three public datasets NYU, ICVL and MSRA-2015 in one unified format to achieve large variation in hand shapes and sizes. Among hybrid methods, our method shows improved accuracy over the state-of-the-art on the combined dataset and the ICVL dataset that contain multiple subjects. Also, our algorithm is demonstrated to work well with unseen images.

연구 동기 및 목표

• 기존 하이브리드 손 자세 추정 방법이 고정된 손 기하학을 가정하여 다양한 손 모양과 크기 간의 일반화에 실패하는 한계를 해결하기 위해.
• 단일 깊이 이미지에서 3D 손 자세와 뼈 길이를 동시에 추정하는 통합된 딥러닝 프레임워크를 개발하기 위해.
• NYU, ICVL, MSRA-2015 데이터셋을 통합 형식으로 결합하여 대규모이고 다양한 손 자세를 포함한 데이터셋(HandSet)을 구축함으로써 모델의 일반화 능력을 향상시키기 위해.
• 학습 가능한 파am터를 통한 손 스케일 변동성의 명시적 모델링을 통해 엔드 투 엔드 훈련을 가능하게 하여, 예측되지 않은 주체에 대한 강건성을 향상시키기 위해.

제안 방법

• 손 뼈대의 각 뼈에 대응하는 스케일 파am터와 함께 3D 손 자세 파am터를 예측하는 CNN 아키텍처를 설계하였다.
• 제안된 자세 및 스케일 파am터를 통합하여 3D 관절 위치를 계산하는 새로운 미분 가능한 정방향 운동역학 레이어를 도입하였으며, 이는 운동역학 체인을 따라 역전파를 가능하게 한다.
• 세 가지 변종을 구현하였다: GlobalScale(일괄 전역 스케일), MultiScale(각 뼈에 대해 개별 스케일), 5Scales(주요 손 구역에 대해 다섯 개의 학습 가능한 스케일 파am터).
• 일致된 전처리 및 애너테이션을 적용한 NYU, ICVL, MSRA-2015 데이터셋을 융합하여 구축한 통합 데이터셋(HandSet)에서 엔드 투 엔드 훈련을 수행하였다.
• 정방향 운동역학 레이어는 추론 중 뼈대 제약 조건을 강제하여 물리적 타당성을 확보한다.
• 관절 위치에 대한 L2 손실과 손 기하학을 존중하는 미분 가능한 운동역학 함수의 조합을 사용하여 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 학습 가능한 스케일 파am터와 미분 가능한 운동역학을 통한 엔드 투 엔드 훈련을 통해, 다양한 손 모양과 크기 간의 일반화 능력을 향상시킬 수 있는가?
• RQ2 고정 기하학 모델 대비 엔드 투 엔드 훈련 중 손 스케일 파am터를 명시적으로 학습시키는 것이 성능에 어떤 영향을 미치는가?
• RQ3 실제 세계 데이터셋을 통합 형식으로 융합한(HandSet) 방식이 모델의 강건성과 일반화 능력을 어느 정도 향상시키는가?
• RQ4 제안된 방법은 훈련 중에 볼 수 없었던 주체와 복잡한 손 자세에 일반화 가능한가?

주요 결과

• 5Scales 아키텍처는 HandSet 테스트 세트에서 3D 관절 위치 오차가 12.7mm로 가장 낮게 기록되었으며, Zhou et al. [34] (18.7mm) 및 기타 기준 모델들을 능가하였다.
• ICVL 데이터셋에서 제안된 방법은 3D 관절 위치 오차가 10.0mm로 기록되었으며, 최신 기술 수준의 LRF [25] (12.6mm) 및 Zhou et al. [34] (11.5mm)를 초월하였다.
• ICVL는 손 모양과 크기의 변동성이 더 큰 반면, NYU는 오직 한 명의 주체만 포함되어 있어, 제안된 방법은 ICVL에서 더 뛰어난 일반화 능력을 보였다.
• GlobalScale 및 MultiScale 변종은 각각 한계를 보였다: GlobalScale는 과도하게 제약된 스케일링으로 인해 성능 저하를 보였고, MultiScale는 개별 뼈 길이 학습으로 인해 불안정성이 발생하였다.
• Qualitative 비교를 통해 HandSet 데이터셋에서 모델이 안정적으로 수렴하고 예측되지 않은 이미지에 잘 일반화됨을 확인하였다.
• 제안된 HandSet 데이터셋은 NYU, ICVL, MSRA-2015를 융합하여 손의 모양, 크기, 복잡한 자세의 다양성이 증가하였으며, 이는 훈련의 강건성을 향상시켰다.