[논문 리뷰] Capturing Hand Articulations using Recurrent Neural Network for 3D Hand Pose Estimation.

Cheol-Hwan Yoo, Seungwook Kim외 3명|arXiv (Cornell University)|2019. 11. 18.

Human Pose and Action Recognition참고 문헌 21인용 수 5

한 줄 요약

이 논문은 손의 기계적 연결 구조를 모델링하기 위해 6개의 브랜치(손바닥 1개, 손가락 각각 1개)를 사용하는 계층적 구조를 가진 컨volutional 순환 신경망(HCRNN)을 제안한다. 이는 순차적인 관절 간 의존성을 포착하기 위해 RNN을 사용하며, 단일 깊이 영상에서 3D 손 자세를 추정한다. 이 방법은 2D CNN 기반 접근법 중 최고의 정확도를 달성하며, 단일 GPU에서 240 fps의 추론 속도로 3D CNN 기반 방법과 경쟁 가능한 성능을 보인다.

ABSTRACT

3D hand pose estimation from a single depth image plays an important role in computer vision and human-computer interaction. Although recent hand pose estimation methods using convolution neural network~(CNN) have shown notable improvements in accuracy, most of them have a limitation that they rely on a complex network structure without fully exploiting the articulated structure of the hand. A hand, which is an articulated object, is composed of six local parts: the palm and five independent fingers. Each finger consists of sequential-joints that provide constrained motion, referred to as a kinematic chain. In this paper, we propose a hierarchically-structured convolutional recurrent neural network~(HCRNN) with six branches that estimate the 3D position of the palm and five fingers independently. The palm position is predicted via fully-connected layers. Each sequential-joint, i.e. finger position, is obtained using a recurrent neural network~(RNN) to capture the spatial dependencies between adjacent joints. HCRNN directly takes the depth map as an input without a time-consuming data conversion, such as 3D voxels and point clouds. Experimental results on public datasets demonstrate that the proposed HCRNN not only outperforms the 2D CNN-based methods using the depth image as their inputs but also achieves competitive results with state-of-the-art 3D CNN-based methods with a highly efficient running speed of 240 fps on a single GPU.

연구 동기 및 목표

• 기존의 2D CNN 기반 방법이 손의 기계적 연결 구조를 모델링하는 데에 한계가 있다는 문제를 해결하기 위해.
• 손가락의 운동학적 체인 구조를 명시적으로 활용하여 3D 손 자세 추정 정확도를 향상시키기 위해.
• 바벨리제이션 또는 포인트 클라우드 생성과 같은 계산 비용이 높은 3D 데이터 변환 과정을 피하는 빠른 추론 방법을 개발하기 위해.
• 3D CNN 기반 방법과 경쟁 가능한 성능을 달성하면서도 높은 속도를 유지하기 위해.

제안 방법

• HCRNN 아키텍처는 손바닥 1개와 손가락 5개 각각에 해당하는 6개의 병렬 브랜치로 구성되어 있다.
• 손바닥 위치는 깊이 영상에 완전히 연결된 레이어를 적용하여 예측된다.
• 각 손가락의 3D 관절 위치는 운동학적 체인 내에서 인접한 관절 간의 공간적 의존성을 모델링하는 순환 신경망(RNN)을 사용하여 추정된다.
• RNN은 관절을 순차적으로 처리하여 손가락의 기계적 운동 패턴이 갖는 제약 조건을 포착한다.
• 모델은 3D 데이터 변환 단계(예: 바벨라이제이션 또는 포인트 클라우드 생성)를 건너뛰고 깊이 영상을 직접 입력으로 사용한다.
• 계층적 구조는 인간 손의 해부학적 및 운동학적 제약 조건을 고려한 관절 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 손가락의 운동학적 체인을 명시적으로 모델링하는 딥 러닝 모델이 기존의 표준 2D CNN보다 3D 손 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 손 관절 간의 순차적 의존성을 포착하기 위해 RNN을 사용할 경우, 3D 자세 추정의 일반화 능력과 정확도가 향상되는가?
• RQ3 손의 기계적 연결을 체계적으로 모델링한 2D CNN 기반 접근법이 3D CNN 기반 최첨단 방법과 경쟁 가능한 성능을 낼 수 있는가?
• RQ4 3D 데이터 변환을 피하는 동시에 높은 정확도를 유지하는 모델의 추론 속도는 얼마인가?

주요 결과

• HCRNN은 깊이 영상을 입력으로 사용하는 2D CNN 기반 방법들보다 3D 손 자세 추정 정확도에서 뛰어난 성능을 보였다.
• 제안된 방법은 공개 데이터셋에서 최첨단 3D CNN 기반 방법과 경쟁 가능한 성능을 달성했다.
• 단일 GPU에서 240 프레임 per 초의 높은 추론 속도를 달성하여 대부분의 3D CNN 기반 방법보다 빠른 성능을 보였다.
• 관절 간 순차적 의존성을 모델링하기 위해 RNN을 사용함으로써 손가락 기계적 운동의 제약 조건을 더 잘 모델링할 수 있었다.
• 3D 데이터 변환 과정 없이 깊이 영상을 직접 처리함으로써 높은 효율성과 정확도를 유지할 수 있었다.
• 손바닥과 손가락 각각에 대해 별도의 브랜치를 가진 계층적 구조는 더 정확하고 체계적인 관절 예측을 가능하게 했다.