[논문 리뷰] Structure-Aware 3D Hourglass Network for Hand Pose Estimation from Single Depth Image

Fuyang Huang, Ailing Zeng외 3명|arXiv (Cornell University)|2018. 12. 26.

Human Pose and Action Recognition참고 문헌 27인용 수 13

한 줄 요약

이 논문은 3D 볼록화된 깊이 데이터로부터 직접 3D 히트맵을 회귀하는 구조 인식 3D 아워글라스 네트워크를 제안한다. 뼈 히트맵을 통해 뼈대 제약 조건을 중간 지도로 통합하여 핸드 포즈 추정을 수행한다. MSRA 및 NYU 데이터셋에서 각각 평균 관절 오차 7.4 mm와 8.9 mm를 기록하여 최신 기술 수준(SOTA) 성능을 달성하며, 깊이 노이즈에 대한 정확성과 강건성 향상을 입증한다.

ABSTRACT

In this paper, we propose a novel structure-aware 3D hourglass network for hand pose estimation from a single depth image, which achieves state-of-the-art results on MSRA and NYU datasets. Compared to existing works that perform image-to-coordination regression, our network takes 3D voxel as input and directly regresses 3D heatmap for each joint. To be specific, we use hourglass network as our backbone network and modify it into 3D form. We explicitly model tree-like finger bone into the network as well as in the loss function in an end-to-end manner, in order to take the skeleton constraints into consideration. Final estimation can then be easily obtained from voxel density map with simple post-processing. Experimental results show that the proposed structure-aware 3D hourglass network is able to achieve a mean joint error of 7.4 mm in MSRA and 8.9 mm in NYU datasets, respectively.

연구 동기 및 목표

• 자기 음영 및 노이즈가 있는 단일 깊이 영상에서 고차원적이고 비선형적인 핸드 포즈 회귀 문제를 해결하기 위해.
• 2D 투영이 아닌 3D 볼록 기반 3D CNN을 통해 3D 공간 정보를 유지하여 정확성을 향상시키기 위해.
• 네트워크 아키텍처 내부에서 수형 구조를 가진 손 뼈대(나뭇가지 모양의 손가락 뼈대)를 명시적으로 모델링하기 위해.
• 실제 깊이 센서에서 흔히 발생하는 결함 있는 깊이 픽셀(예: 구조광원 카메라에서 발생하는 검은 구멍)에 대한 일반화 및 강건성 향상시키기 위해.
• 최소한의 후처리를 통해 관절 및 뼈 히트맵의 엔드 투 엔드 학습을 달성하기 위해.

제안 방법

• 입력 깊이 영상가 카메라 좌표계에서 3D 볼록 격자로 변환되며, 이는 잔차 블록을 갖춘 3D 아워글라스 네트워크의 입력으로 사용된다.
• 네트워크는 각 관절에 대한 3D 히트맵을 회귀하고, 각 아워글라스 스택의 최종 레이어에서 뼈 히트맵도 추가로 예측한다.
• 뼈 히트맵은 손 뼈대의 계층적 트리 구조를 명시적으로 모델링하기 위해 손실 함수에서 중간 지도로 기능한다.
• 네트워크는 관절 히트맵 손실과 뼈 히트맵 손실을 조합한 복합 손실을 사용하여 엔드 투 엔드로 훈련되며, 뼈대 인식 보정이 가능하다.
• 최종 관절 위치는 단순한 후처리를 통해 3D 히트맵의 피크 탐지 기반으로 추출된다.
• 다양한 스케일의 3D 특징을 캡처하기 위해 빌딩 블록으로 3D 잔차 블록(ResNet)을 사용한다.

실험 결과

연구 질문

• RQ1 3D 볼록 기반의 회귀가 2D 투영 기반 방법보다 손 포즈 추정에서 깊이 정보를 더 잘 유지할 수 있는가?
• RQ2 뼈 히트맵을 통한 명시적 뼈대 제약 조건 통합이 관절 추정 정확도를 향상시키는가?
• RQ3 뼈 히트맵을 통한 중간 지도가 노이즈가 많은 깊이 데이터에서 더 나은 일반화를 이끌 수 있는가?
• RQ4 평균 관절 오차 및 성공률 측면에서 기존 최신 기술 수준의 접근법과 비교해 본다면, 제안된 방법은 어떤가?
• RQ5 3D 잔차 블록을 갖춘 3D 아워글라스 아키텍처는 핸드 포즈 추정에서 엔드 투 엔드 3D 히트맵 회귀에 효과적인가?

주요 결과

• 제안된 방법은 MSRA 데이터셋에서 평균 관절 오차 7.4 mm를 기록하여 최신 기술 수준의 방법들 중 두 번째로 높은 성능을 달성한다.
• NYU 데이터셋에서는 평균 관절 오차 8.9 mm를 기록하며, 3D CNN 기반의 V2V-net을 포함한 대부분의 기존 방법들을 능가한다.
• 구조광원 카메라에서 발생하는 검은 구멍과 같은 깊이 노이즈에 대해 3D 볼록 표현 덕분에 뛰어난 강건성을 보인다.
• 비교 실험(뼈 손실 유무)을 통해 뼈 히트맵 지도의 포함 여부가 관절 추정 정확도 향상에 기여하는 것으로 확인되었다.
• 동일한 GPU에서 약 10.8 fps로 실행되며, V2V-net에서 보고된 3.5 fps보다 훨씬 빠르게 동작한다.
• 정성적 결과는 더 현실적인 손가락 뼈대 정렬과 감소된 관절 이동을 보여주며, 뼈대 제약 조건의 효과성을 확인한다.