[논문 리뷰] Depth image hand tracking from an overhead perspective using partially labeled, unbalanced data: Development and real-world testing

Stephen Czarnuch, Alex Mihailidis|arXiv (Cornell University)|2014. 09. 06.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 10

한 줄 요약

이 논문은 COACH 프롬프팅 시스템의 천정 장착 모니터링 환경에서 깊이 영상 기반 手 추적 시스템을 제안하며, 부분적으로 레이블링된, 균형 잡히지 않은 5,000장의 깊이 영상으로 훈련된 랜덤 결정수림 분류기를 사용한다. 수치적 특징 공간에서 모드 탐색을 통해 손 위치를 식별하고, 이를 작업 동작으로 매핑한다. 24,000장의 레이블링된 이미지로 검증되었으며, 데이터 불균형과 부분적 레이블링에도 불구하고 실제 환경에서의 성능이 뛰어나다.

ABSTRACT

We present the development and evaluation of a hand tracking algorithm based on single depth images captured from an overhead perspective for use in the COACH prompting system. We train a random decision forest body part classifier using approximately 5,000 manually labeled, unbalanced, partially labeled training images. The classifier represents a random subset of pixels in each depth image with a learned probability density function across all trained body parts. A local mode-find approach is used to search for clusters present in the underlying feature space sampled by the classified pixels. In each frame, body part positions are chosen as the mode with the highest confidence. User hand positions are translated into hand washing task actions based on proximity to environmental objects. We validate the performance of the classifier and task action proposals on a large set of approximately 24,000 manually labeled images.

연구 동기 및 목표

• 보조 프롬프팅 환경에서 실시간 모니터링을 위한 내구성 있는 손 추적 시스템을 개발하기 위해.
• 천정 장착 손 추적에서 부분적으로 레이블링되고 불균형한 깊이 영상 데이터가 초래하는 과제를 해결하기 위해.
• 세제 빨이 상황에서 추적된 손 위치를 의미 있는 작업 동작으로 매핑하기 위해.
• 24,000장의 이미지로 구성된 대규모 수동 레이블링 데이터셋을 활용해 시스템 성능을 검증하기 위해.

제안 방법

• 부분적이고 불균형한 수동 레이블링이 적용된 약 5,000장의 깊이 영상으로 랜덤 결정수림을 훈련하여 신체 부위 간 픽셀 수준의 확률 밀도 함수를 모델링한다.
• 각 깊이 영상가 훈련된 숲을 이용해 분류된 픽셀의 부분집합으로 표현되며, 각 픽셀은 신체 부위에 대한 확률 분포를 할당받는다.
• 분류된 픽셀의 특징 공간에서 국소적 모드 탐색 알고리즘이 클러스터를 식별하여 신체 부위를 특정한다.
• 각 프레임에서 가장 높은 신뢰도를 가진 모드를 가진 신체 부위를 추적된 위치로 선택한다.
• 환경 내 물체와의 거리에 따라 손 위치를 작업 동작으로 변환한다.
• 추적 및 동작 제안 정확도 평가를 위해 약 24,000장의 수동 레이블링된 이미지로 구성된 테스트 세트를 사용하여 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 부분적으로 레이블링되고 불균형한 상황에서 천정 장착 깊이 영상에서 손 추적을 효과적으로 수행할 수 있는가?
• RQ2 데이터 불균형 상황에서 랜덤 결정수림 분류기가 픽셀 수준의 신체 부위 확률을 신뢰성 있게 모델링할 수 있는가?
• RQ3 실제 환경에서 노이즈가 많은 깊이 데이터에서 추적된 손 위치가 작업 관련 동작으로 얼마나 정확하게 매핑될 수 있는가?
• RQ4 모드 탐색 기법이 노이즈가 많은 실제 깊이 데이터에서 주요 손 위치를 식별하는 데 얼마나 효과적인가?

주요 결과

• 훈련 세트에서 심각한 데이터 불균형과 부분적 레이블링이 존재함에도 불구하고 시스템은 신뢰할 수 있는 손 추적 성능을 달성했다.
• 모드 탐색 기법이 각 프레임에서 높은 확신도로 주요 손 위치를 성공적으로 식별했다.
• 단지 5,000장의 훈련 이미지로도 분류기가 신체 부위 간 확률 밀도 함수를 추정하는 데 있어 뛰어난 내구성을 보였다.
• 공간적 거리에 기반해 손 위치를 작업 관련 동작으로 정확도 높게 매핑하는 동작 제안 시스템이 성공적으로 작동했다.
• 24,000장의 레이블링된 이미지로의 검증을 통해 시스템이 실제 환경 배치 시나리오에서 효과적임을 확인했다.