[논문 리뷰] Articulated Hand Pose Estimation Review

Emad Barsoum|arXiv (Cornell University)|2016. 04. 21.

Human Pose and Action Recognition참고 문헌 38인용 수 20

한 줄 요약

이 논문은 깊이 센서를 사용한 관절형 손 자세 추정 분야의 최근 발전을 검토하며, 판별적, 생성적, 하이브리드 접근 방식에 중점을 둔다. 기계 학습과 모델 기반 피팅의 통합이 가장 유망한 파이프라인으로 규명되었으며, 실시간 성능, 가림, 대규모 학습 데이터셋이 필요하다는 주요 과제들이 제기된다.

ABSTRACT

With the increase number of companies focusing on commercializing Augmented Reality (AR), Virtual Reality (VR) and wearable devices, the need for a hand based input mechanism is becoming essential in order to make the experience natural, seamless and immersive. Hand pose estimation has progressed drastically in recent years due to the introduction of commodity depth cameras. Hand pose estimation based on vision is still a challenging problem due to its complexity from self-occlusion (between fingers), close similarity between fingers, dexterity of the hands, speed of the pose and the high dimension of the hand kinematic parameters. Articulated hand pose estimation is still an open problem and under intensive research from both academia and industry. The 2 approaches used for hand pose estimation are: discriminative and generative. Generative approach is a model based that tries to fit a hand model to the observed data. Discriminative approach is appearance based, usually implemented with machine learning (ML) and require a large amount of training data. Recent hand pose estimation uses hybrid approach by combining both discriminative and generative methods into a single hand pipeline. In this paper, we focus on reviewing recent progress of hand pose estimation from depth sensor. We will survey discriminative methods, generative methods and hybrid methods. This paper is not a comprehensive review of all hand pose estimation techniques, it is a subset of some of the recent state-of-the-art techniques.

연구 동기 및 목표

• 상용 깊이 센서에서의 RGB-D 데이터를 활용한 관절형 손 자세 추정 분야의 최근 진전을 분석하기.
• 손 자세 추정 파이프라인에서 판별적, 생성적, 하이브리드 접근 방식을 비교하기.
• 현재 시스템에서 특히 추적 및 초기화 단계에서 발생하는 주요 성능 저하 원인을 규명하기.
• 성능 향상을 위해 대규모 공개 기반 벤치마크 및 학습 데이터가 필수적임을 강조하기.
• 학습 기반 초기화 및 히ュ리스틱 파rameter 최적화와 같은 향후 연구 방향 제안하기.

제안 방법

• 일반적인 깊이 센서에서의 RGB-D 데이터를 활용한 손 자세 추정 분야의 최신 기법을 조사하기.
• 판별적(외관 기반, 기계 학습 기반), 생성적(모델 기반 피팅), 하이브리드(둘의 병합 사용)로 접근 방식을 분류하기.
• 파이프라인 단계를 별도로 평가하기: 세그멘테이션, 손 초기화, 고차원 자세 공간에서의 최적화를 통한 손 추적.
• 개선된 초기화를 위한 코arse-to-fine 회귀를 활용한 다단계 학습 파이프라인 제안하기.
• 콘텐츠 기반 이미지 검색(CBIR)을 활용해 추적의 검색 공간을 줄이고 빠른 이산적 자세 초기화를 탐색하기.
• PSO+GA와 같은 알고리즘의 히ュ리스틱 파rameter를 기계 학습 기반의 데이터 기반 대체 방식으로 대체할 것을 권장하기.

실험 결과

연구 질문

• RQ1 깊이 기반 손 자세 추정에서 판별적, 생성적, 하이브리드 접근 방식은 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ2 현재 손 자세 추정 파이프라인에서 주로 발생하는 성능 저하 원인은 무엇이며, 특히 추적 및 초기화 단계에서 어떤가?
• RQ3 기계 학습이 초기화 단계를 얼마나 향상시켜, 반복적 최적화에 대한 의존도를 줄일 수 있는가?
• RQ4 비전 기반 손 자세 추정 기술의 발전을 위해 대규모 고품질 학습 데이터셋의 가용성이 얼마나 중요한가?
• RQ5 외관 기반 학습과 모델 기반 피팅을 병합한 하이브리드 파이프라인은 제약 조건이 없는 환경에서도 강건하고 실시간 성능을 달성할 수 있는가?

주요 결과

• 판별적 학습과 생성적 모델 피팅을 결합한 하이브리드 접근 방식이 실시간으로 강건한 손 자세 추정을 위한 가장 유망한 파이프라인이다.
• 현재 최신 기술은 배경 복잡도가 중간 정도인 단일 손 자세 추정에는 신뢰할 수 있게 작동하지만, 이중 손 상호작용 및 물체 조작에는 어려움을 겪는다.
• 손 추적 단계가 고차원 검색 공간과 렌더링, 비용 함수 평가의 고비용으로 인해 주요 성능 저하 원인이 된다.
• 최적화 알고리즘(예: PSO+GA)의 히ュ리스틱 파arameter는 종종 직관에 의해 조정되며, 더 높은 정확도를 확보하기 위해 학습 기반 데이터 기반 대체 방식으로 대체될 수 있다.
• 모든 파이프라인 단계를 포함하는 대규모 공개 기반 벤치마크가 공정한 비교와 분야 발전을 위해 필수적이다.
• 특히 코어스-투-파인 회귀를 활용한 기계 학습 기반 초기화는 추적의 부담을 줄이고 전체 시스템의 안정성을 향상시키는 데 강력한 잠재력을 보인다.