[논문 리뷰] Hand Pose Estimation: A Survey

Bardia Doosti|arXiv (Cornell University)|2019. 03. 03.

Human Pose and Action Recognition참고 문헌 58인용 수 33

한 줄 요약

깊이 기반과 RGB 기반 접근 방식을 비교하고, 2D/3D 손 관절 추정을 위한 주요 22개 데이터셋을 상세히 다루는 손 포즈 추정 방법에 대한 포괄적 고찰.

ABSTRACT

The success of Deep Convolutional Neural Networks (CNNs) in recent years in almost all the Computer Vision tasks on one hand, and the popularity of low-cost consumer depth cameras on the other, has made Hand Pose Estimation a hot topic in computer vision field. In this report, we will first explain the hand pose estimation problem and will review major approaches solving this problem, especially the two different problems of using depth maps or RGB images. We will survey the most important papers in each field and will discuss the strengths and weaknesses of each. Finally, we will explain the biggest datasets in this field in detail and list 22 datasets with all their properties. To the best of our knowledge this is the most complete list of all the datasets in the hand pose estimation field.

연구 동기 및 목표

• 손 포즈 추정 문제와 변형들을 설명한다.
• 깊이 기반 및 RGB 기반 손 포즈 추정 방법을 검토한다.
• CNN에서 탐지 기반과 회귀 기반 접근 방식의 차이를 논의한다.
• 손 포즈 추정을 위한 주요 데이터세트와 그 특성을 요약한다.
• 현장의 강점, 약점 및 경향을 강조한다.

제안 방법

• 탐지 기반 히트맵 출력과 회귀 기반 관절 좌표를 구분한다.
• 3D 형태 추정 및 3D CNN(V2V-PoseNet, HandPointNet 등)을 포함한 깊이 기반 방법을 조사한다.
• HandSegNet/PoseNet 파이프라인 및 다중 시야 또는 합성 데이터 전략을 포함한 RGB 기반 방법을 조사한다.
• 주석 한계를 완화하기 위한 데이터 증강, 합성 및 도메인 전이(GANs, CycleGAN)를 논의한다.
• 정확도를 높이기 위한 RGBD 하이브리드 및 퓨전 접근(FuseNet)을 설명한다.
• 학습에 미치는 영향과 함께 21 관절, 3D 좌표 등의 데이터세트 및 주석 체계를 강조한다.

실험 결과

연구 질문

• RQ1 손 포즈 추정의 주요 방법론 범주는 무엇이며, 깊이 기반 및 RGB 기반 접근 방식은 문제 공식화와 성능에서 어떻게 차이가 나는가?
• RQ2 데이터세트와 주석 관행은 어떻게 진화했고, 이것이 모델 일반화에 어떤 영향을 미치는가?
• RQ3 다중 시야, 합성 데이터, 도메인 전이 같은 전략은 손 포즈 추정에서 RGB 차단(occlusion)과 데이터 부족 문제를 어떻게 완화하는가?
• RQ4 2D 및 3D 손 포즈 추정에서 탐지 기반과 회귀 기반 방법의 상대적 강점과 약점은 무엇인가?
• RQ5 퓨전 및 3D 표현(TSDF, PointNet) 등이 추정 정확도에 어떻게 기여하는가?

주요 결과

• 깊이 기반 방법은 3D 표현과 V2V-PoseNet와 같은 네트워크로 3D 손 포즈 추정으로 발전했으며, 주요 데이터세트에서 강력한 성능을 보인다.
• RGB 기반 방법은 대규모 데이터세트가 필요하고 종종 손 분할 및 다단계 파이프라인을 사용하여 2D 단서를 통해 3D 포즈를 추론한다.
• 가려짐 처리와 데이터 부족 문제로 다중 카메라 구성, 합성 데이터 및 도메인 전이 기술(GANs, CycleGAN)의 활용이 증가했다.
• 하이브리드 RGBD 접근(FuseNet)은 깊이와 RGB 흐름을 융합하려고 시도했으나 일부 경우 단일 모달리티 방법보다 성능이 더 좋지 않을 수 있다.
• GAN 기반 및 합성-실제 데이터 파이프라인은 학습 보강 및 주석 부담 감소를 위해 일반적으로 사용된다.
• 다양한 데이터세트 기반의 강한 결과에도 불구하고 실제 세계 성능은 종종 단순한 베이스라인보다 뒤처지는 경향이 있어 일반화의 문제를 강조한다.