[논문 리뷰] V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map

Gyeongsik Moon, Ju Yong Chang외 1명|arXiv (Cornell University)|2017. 11. 20.

Human Pose and Action Recognition참고 문헌 49인용 수 35

한 줄 요약

V2V-PoseNet는 3D 볼륨 메시를 사용하고 복소점별 가능도 예측을 통해 2D 컨볼루션 신경망 처리 중 발생하는 시점 왜곡과 비선형 회귀 문제를 해결함으로써 단일 깊이 맵에서 정확한 3D 손 및 인간 자세 추정을 위한 3D 볼륨에서 볼륨으로의 예측 네트워크를 제안한다. 이는 여러 벤치마크에서 최고 성능을 기록하였으며, HANDS 2017 챌린지에서 1위를 차지했고, 단일 GPU에서 최대 35fps의 실시간 추론을 구현한다.

ABSTRACT

Most of the existing deep learning-based methods for 3D hand and human pose estimation from a single depth map are based on a common framework that takes a 2D depth map and directly regresses the 3D coordinates of keypoints, such as hand or human body joints, via 2D convolutional neural networks (CNNs). The first weakness of this approach is the presence of perspective distortion in the 2D depth map. While the depth map is intrinsically 3D data, many previous methods treat depth maps as 2D images that can distort the shape of the actual object through projection from 3D to 2D space. This compels the network to perform perspective distortion-invariant estimation. The second weakness of the conventional approach is that directly regressing 3D coordinates from a 2D image is a highly non-linear mapping, which causes difficulty in the learning procedure. To overcome these weaknesses, we firstly cast the 3D hand and human pose estimation problem from a single depth map into a voxel-to-voxel prediction that uses a 3D voxelized grid and estimates the per-voxel likelihood for each keypoint. We design our model as a 3D CNN that provides accurate estimates while running in real-time. Our system outperforms previous methods in almost all publicly available 3D hand and human pose estimation datasets and placed first in the HANDS 2017 frame-based 3D hand pose estimation challenge. The code is available in https://github.com/mks0601/V2V-PoseNet_RELEASE.

연구 동기 및 목표

• 2D 깊이 맵에서의 시점 왜곡이 2D 컨볼루션 신경망 처리 중 3D 객체 형태를 왜곡시키는 문제를 해결하기 위해.
• 2D 깊이 영상과 3D 관절 좌표 간의 매우 비선형적인 매핑으로 인해 정확한 학습이 어렵다는 문제를 해결하기 위해.
• 3D 체적 표현을 사용하여 볼륨에서 볼륨으로의 예측으로 작업을 재구성함으로써 3D 자세 추정 정확도를 향상시키기 위해.
• 다양한 3D 손 및 인간 자세 추정 데이터셋에서 고정밀도를 유지하면서도 실시간 추론을 달성하기 위해.

제안 방법

• 2D 깊이 맵을 3D 볼륨 격자로 변환하여 공간적 통합성을 유지하고 시점 왜곡을 제거한다.
• 3D 컨volution 신경망(3D CNN)을 사용하여 3D 좌표를 직접 추정하는 대신, 각 관절점에 대해 복소점별 가능도 맵을 예측한다.
• 계층적 특징을 캡처하고 다양한 스케일에서 예측을 정밀하게 다듬기 위해 다중 스케일 3D U-Net 아키텍처를 사용한다.
• 피크 탐지 기반으로 3D 가능도 히트맵에서 관절 위치를 추출하여 정밀한 국소화를 확보한다.
• 입력 전처리에는 기준점 보정과 볼륨화가 포함되며, 후자는 가장 시간이 오래 소요되는 단계이다.
• 추론 속도 향상을 위해 모델 앙상블 및 다중 GPU 배포를 활용하여 단일 GPU에서 최대 35fps를 달성한다.

실험 결과

연구 질문

• RQ1 2D 깊이 맵 입력을 3D 볼륨화된 표현으로 대체함으로써 시점 왜곡을 줄이고 3D 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 3D 좌표 직접 회귀 대신 복소점별 가능도를 예측하는 것이 더 안정적이고 정확한 학습을 이끌 수 있는가?
• RQ3 볼륨에서 볼륨으로의 예측 프레임워크는 다양한 데이터셋에서 기존의 2D에서 3D로의 회귀 방법과 비교해 성능 및 내성에 있어 어떻게 다른가?
• RQ4 제안된 방법은 3D 손 및 3D 인간 자세 추정 작업 모두에 일반화되어 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• V2V-PoseNet는 ICVL, NYU, MSRA의 세 가지 공개 3D 손 자세 추정 데이터셋에서 최고 성능을 기록하였으며, 평균 오차는 각각 12.8mm, 18.7mm, 28.7mm였다.
• 도전적인 NYU 데이터셋에서 이전 방법과의 성능 격차가 가장 크게 나타나, 부분적 가림 및 저품질 깊이 데이터에 대한 뛰어난 내성성을 보였다.
• HANDS 2017 프레임 기반 3D 손 자세 추정 챌린지에서 1위를 차지하여 모든 참가자들을 압도했다.
• ITOP 3D 인간 자세 추정 데이터셋에서 V2V-PoseNet는 앞면 및 상단 시점에서 각각 75.5% 및 83.4%의 정확도를 기록하여 이전의 모든 방법을 뛰어넘었다.
• 앙상블 추론 시 3.5fps, 다중 GPU 모드에서는 최대 35fps로 실행되어 실시간 적용 가능성을 입증했다.
• 절단 분석 결과, 3D 볼륨 입력과 복소점별 가능도 출력의 조합이 최고의 성능을 내며, 설계 선택의 타당성을 입증했다.