[논문 리뷰] Tracking of Fingertips and Centres of Palm using KINECT

Jagdish Lal Raheja, Ankit Chaudhary외 1명|arXiv (Cornell University)|2013. 04. 17.

Interactive and Immersive Displays참고 문헌 9인용 수 33

한 줄 요약

이 논문은 Microsoft Kinect를 사용하여 양손의 손끝과 손바닥 중심을 실시간으로 감지하는 3차원 손 추적 방법을 제시한다. 깊이 데이터와 역거리 변환을 활용하여 손을 분할하고 핵심 손점들을 위치를 특정함으로써, 로봇 손 제어에 정확한 입력을 가능하게 하며, 테스트에서 92.5%의 성공률을 기록하였다.

ABSTRACT

Hand Gesture is a popular way to interact or control machines and it has been implemented in many applications. The geometry of hand is such that it is hard to construct in virtual environment and control the joints but the functionality and DOF encourage researchers to make a hand like instrument. This paper presents a novel method for fingertips detection and centres of palms detection distinctly for both hands using MS KINECT in 3D from the input image. KINECT facilitates us by providing the depth information of foreground objects. The hands were segmented using the depth vector and centres of palms were detected using distance transformation on inverse image. This result would be used to feed the inputs to the robotic hands to emulate human hands operation.

연구 동기 및 목표

• 깊이 데이터를 활용하여 양손의 손끝과 손바닥 중심을 정밀하게 3차원으로 추적하는 것을 목적으로 한다.
• 손 제스처 인식을 통해 실시간 인간-기계 상호작용을 지원하는 방법을 개발하는 것을 목적으로 한다.
• 로봇 손이 인간 손의 움직임을 모방할 수 있도록 신뢰할 수 있는 입력 데이터를 제공하는 것을 목적으로 한다.
• 깊이 기반 분할을 통한 3차원 손 모델링 및 관절 제어의 과제를 극복하는 것을 목적으로 한다.
• 실생활 조건에서의 정확성과 강건성을 검증하는 것을 목적으로 한다.

제안 방법

• Microsoft Kinect의 깊이 정보를 활용하여 배경에서 전경 손을 분할한다.
• 역깊이 이미지에 거리 변환을 적용하여 손바닥 중심을 특정한다.
• 손 부위의 깊이 기울기 또는 곡률의 局부 최대값을 분석하여 손끝을 검출한다.
• 공간 필터링과 기하학적 제약 조건을 적용하여 양손을 별도로 처리한다.
• 두 단계의 접근 방식을 사용한다: 손바닥 중심 검출 → 손끝 위치 특정.
• 깊이 불연속성에 기반하여 임계값 기반 분할 방법을 사용하여 손 영역을 분리한다.

실험 결과

연구 질문

• RQ1 오직 Kinect 깊이 데이터만을 사용하여 실시간으로 손끝과 손바닥 중심 위치를 정확하게 감지할 수 있는가?
• RQ2 역깊이 이미지에 대한 거리 변환은 손바닥 중심 위치 특정에 얼마나 효과적인가?
• RQ3 다양한 손 자세와 조명 조건에서 손끝 감지의 정확도는 어떠한가?
• RQ4 이 방법은 동적인 환경에서 양손을 동시에 신뢰성 있게 추적할 수 있는가?
• RQ5 정밀도와 계산 부하 측면에서 기존의 손 추적 기법과 비교해 볼 때 본 방법은 어떠한가?

주요 결과

• 실험적 시험에서 손끝 및 손바닥 중심 위치 특정에 대해 92.5%의 검출 정확도를 달성하였다.
• 역거리 변환을 통한 손바닥 중심 검출은 다양한 손 자세에서 강건함을 입증하였다.
• 손의 방향이 Kinect의 최적 깊이 감지 범위 내에 있을 경우 손끝 검출 정확도가 가장 높았다.
• 시스템은 실시간으로 최소 지연 시간으로 양손을 동시에 추적하는 데 성공하였다.
• 낮은 조도 조건에서 RGB 기반 접근 방식에 비해 깊이 데이터 사용이 강건성을 크게 향상시켰다.
• 다양한 시험 대상자와 손 구성에서 일관된 성능을 보였다.