[논문 리뷰] Kinect Sensor Based Gesture Recognition for Surveillance Application

Biswarup Ganguly, Amit Konar|arXiv (Cornell University)|2018. 12. 22.

Hand Gesture Recognition Systems참고 문헌 5인용 수 7

한 줄 요약

이 논문은 깊이 데이터와 체형 추적을 활용하여 다수의 사람으로 구성된 환경에서 복잡하고 비정기적인 손짓을 실시간으로 감지하는 키넥트 센서 기반의 실시간 손짓 인식 시스템을 제안한다. 자세 추정과 시간적 모델링을 조합함으로써, 도전적인 조건에서도 비정기적인 손짓을 견고하게 인식하며, 동적인 감시 시나리오에서 높은 정확도를 보여준다.

ABSTRACT

Hand gesture recognition has been granted as one of the emerging fields in research today providing a natural way of communication between man and a machine. Gestures are some forms of body motions which a person expresses when doing a work or giving a reply. Human body tracking is a well studied topic in todays era of Human Computer Interaction and it can be formed by the virtue of human skeleton structures. These skeleton structures have been detected successfully due to the smart progress of some devices, used to measure depth. Human body movements have been viewed using these depth sensors which can provide sufficient accuracy while tracking full body in real time mode with low cost. In reality action and reaction activities are hardly periodic in a multi person perspective situation. Also recognizing their complex a-periodic gestures are highly challenging for detection in surveillance system.

연구 동기 및 목표

• 저비용 깊이 센서를 사용하여 감시용 실시간 손짓 인식 시스템을 개발하기 위해.
• 다수 인원 및 동적인 환경에서 복잡하고 비정기적인 손짓을 인식하는 데 도전하는 데에.
• 키넥트 센서의 체형 추적 기능을 활용하여 손짓 감지 정확도와 견고성을 향상시키기 위해.
• 직관적인 손짓 기반 제어를 통해 감시 환경에서 자연스러운 인간-기계 상호작용을 가능하게 하기 위해.
• 실제 감시 설정에서 흔히 발생하는 비이상적 조건 하에서 시스템 성능을 평가하기 위해.

제안 방법

• 실시간으로 깊이 및 체형 데이터를 캡처하기 위해 마이크로소프트 키넥트 센서를 사용한다.
• 신체 체형 추적을 활용하여 관절 위치와 운동 패턴을 추출한다.
• 특히 비정기적인 손짓을 위해 손짓 시퀀스의 시간적 모델링을 적용한다.
• 손 부분을 분리하고 운동 특징을 추출하기 위해 깊이 데이터를 처리하여 분류한다.
• 체형 및 운동 특징 기반으로 손짓을 분류하기 위해 기계 학습 기법을 사용한다.
• 공간적 및 시간적 특징을 통합하여 복잡하고 비정기적인 손짓의 인식을 향상시킨다.

실험 결과

연구 질문

• RQ1 키넥트의 깊이 센서 데이터를 어떻게 효과적으로 활용하여 실시간으로 비정기적인 손짓을 인식할 수 있는가?
• RQ2 다수 인원 감시 환경에서 체형 추적은 손짓 인식 정확도 향상에 어떤 역할을 하는가?
• RQ3 시스템은 동적인 실제 환경에서 비정기적인 손짓의 복잡성을 어떻게 다루는가?
• RQ4 저비용 깊이 센서로 감시 응용 분야에 적합한 신뢰할 수 있는 손짓 인식을 달성할 수 있는가?
• RQ5 현재의 손짓 인식 시스템은 다수 인원 및 비정기적 상황에서 어떤 한계를 지니는가?

주요 결과

• 시스템은 키넥트의 깊이 및 체형 데이터를 활용하여 실시간으로 복잡하고 비정기적인 손짓을 성공적으로 인식한다.
• 체형 추적은 관절 기반의 구조적 특징을 제공함으로써 손짓 인식 정확도를 크게 향상시킨다.
• 다수 인원 상황에서도 견고성을 유지하며, 가림 및 혼잡한 상황에서도 성능을 유지를 한다.
• 손짓 시퀀스의 시간적 모델링은 반복되지 않고 비정규적인 손짓의 인식을 향상시킨다.
• 낮은 계산 비용으로도 높은 인식 정확도를 달성하여 실시간 감시에 적합하다.
• 시스템은 동적인 환경에서 효과적이며, 도전적인 조건에서 기존 방법보다 뛰어난 성능을 보인다.