[논문 리뷰] 3D Hand Pose Tracking and Estimation Using Stereo Matching

Jiawei Zhang, Jianbo Jiao외 4명|arXiv (Cornell University)|2016. 10. 23.

Advanced Vision and Imaging참고 문헌 34인용 수 122

한 줄 요약

패시브 스테레오를 이용한 3D 손 자세 추적 및 추정을 위한 스테레오 기반 프레임워크를 제안하고, 전용 온라인 피부색 모델과 제약된 스테레오 매칭, 그리고 18k 스테레오/깊이 쌍의 손 자세 벤치마크를 제시한다.

ABSTRACT

3D hand pose tracking/estimation will be very important in the next generation of human-computer interaction. Most of the currently available algorithms rely on low-cost active depth sensors. However, these sensors can be easily interfered by other active sources and require relatively high power consumption. As a result, they are currently not suitable for outdoor environments and mobile devices. This paper aims at tracking/estimating hand poses using passive stereo which avoids these limitations. A benchmark with 18,000 stereo image pairs and 18,000 depth images captured from different scenarios and the ground-truth 3D positions of palm and finger joints (obtained from the manual label) is thus proposed. This paper demonstrates that the performance of the state-of-the art tracking/estimation algorithms can be maintained with most stereo matching algorithms on the proposed benchmark, as long as the hand segmentation is correct. As a result, a novel stereo-based hand segmentation algorithm specially designed for hand tracking/estimation is proposed. The quantitative evaluation demonstrates that the proposed algorithm is suitable for the state-of-the-art hand pose tracking/estimation algorithms and the tracking quality is comparable to the use of active depth sensors under different challenging scenarios.

연구 동기 및 목표

• 능동형 깊이 센서 대신 패시브 스테레오를 사용하여 실외 및 모바일 친화적인 손 추적을 촉진한다.
• 새로운 벤치마크에서 패시브 스테레오 하에서의 최첨단 손 추적/추정 방법을 평가한다.
• 강건한 손 추적 및 추정을 위한 스테레오 기반 손 분할 방법을 개발한다.
• 컬러 이미지에서 신뢰할 수 있는 손 분할을 가능하게 하는 온라인 학습 피부색 모델을 제안한다.
• 도전적인 환경에서도 패시브 스테레오가 활성 센서와 비슷한 추적/추정 성능을 달성할 수 있음을 보여준다.

제안 방법

• 적응형 GMM을 통한 온라인 전경/배경 분할을 사용하여 손 탐제를 위한 현장 특화 피부색 모델을 훈련한다.
• 이전 프레임의 깊이를 포함하여 피부색 확률과 손 가능도를 계산하여 견고한 손 분할을 수행한다.
• 다양한 매칭 비용과 집계 방식으로 로컬/글로벌 스테레오 매칭 접근법의 광범위한 범위를 평가하여 기준 성능을 설정한다.
• 손 영역 근처의 시차를 안정시키기 위해 피부색 가이드와 비용 신뢰도를 활용하는 제약된 스테레오 매칭 프레임워크를 도입한다.
• 손 깊이 추정치를 개선하고 배경 노이즈를 줄이기 위해 중간 깊이 맵으로 스테레오 매칭 비용을 조정한다.
• 패시브 스테레오에서의 성능 평가를 위해 최첨단 손 자세 추적/추정 알고리즘(PSO, ICPPSO, CHPR)과 통합한다.

실험 결과

연구 질문

• RQ1 손 분할이 정확할 때 패시브 스테레오가 활성 센서와 비교하여 3D 손 자세 추적/추정에 얼마나 잘 작동하는가?
• RQ2 온라인 피부색 모델이 안내하는 스테레오 기반 손 분할 방법이 다양한 배경과 자세에서 활성 센서와 유사한 자세 정확도를 달성할 수 있는가?
• RQ3 패시브 스테레오하에서 서로 다른 스테레오 매칭 비용, 집계 및 시차 최적화가 손 자세 추적/추정 정확도에 미치는 영향은 무엇인가?
• RQ4 손 추적에 맞춘 제약된 스테레오 접근법이 질감이 부족하거나 도전적인 실내 장면에서 강인성을 향상시키는가?

주요 결과

• 지상참조(ground-truth) 3D 관절 위치가 포함된 18,000개의 스테레오 이미지 쌍과 18,000개의 깊이 이미지가 포함된 핸드 포즈 벤치마크가 도입된다.
• 손 분할이 정확할 때 대부분의 스테레오 매칭 방법은 활성 깊이 센서와 비슷한 추적/추정 성능을 보인다.
• 피부색 가이드와 비용 신뢰도를 활용하는 제약된 스테레오 매칭 알고리즘은 질감이 없는 영역에서 손 추적의 강인성을 향상시킨다.
• 온라인 피부색 학습이 포함된 제안된 스테레오 기반 방법은 여섯 가지 배경과 두 가지 자세 유형에서 활성 센서에 근접한 추적 정확도를 보인다.
• 제안된 스테레오 분할의 도움을 받을 때 Random-forest/CHPR 기반 추정 방법이 관절 정확도에서 경쟁력을 달성할 수 있다.
• Meshstereo는 이 작업에 대해 더 나쁘게 작동하며, PSO/ICPPSO는 배경과 분할 품질에 따라 강인성이 달라진다.