[논문 리뷰] Human Computer Interaction Using Marker Based Hand Gesture Recognition

Sayem Mohammad Siam, Jahidul Adnan Sakel외 1명|arXiv (Cornell University)|2016. 06. 23.

Hand Gesture Recognition Systems참고 문헌 12인용 수 9

한 줄 요약

이 논문은 소비자용 웹캠을 사용하여 손가락 끝에 빨간색과 초록색 마커를 부착하고, 템플릿 매칭과 칼만 필터링을 조합하여 실시간으로 감지 및 추적하는 저비용의 마커 기반 손동작 인식 시스템을 제안한다. 사용자 적응 후 평균 정확도는 79.4%를 기록하며, 클릭, 줌, 탐색과 같은 동작을 통해 터치스크린 없이 데스크톱 시스템을 직관적으로 제어할 수 있다.

ABSTRACT

Human Computer Interaction (HCI) has been redefined in this era. People want to interact with their devices in such a way that has physical significance in the real world, in other words, they want ergonomic input devices. In this paper, we propose a new method of interaction with computing devices having a consumer grade camera, that uses two colored markers (red and green) worn on tips of the fingers to generate desired hand gestures, and for marker detection and tracking we used template matching with kalman filter. We have implemented all the usual system commands, i.e., cursor movement, right click, left click, double click, going forward and backward, zoom in and out through different hand gestures. Our system can easily recognize these gestures and give corresponding system commands. Our system is suitable for both desktop devices and devices where touch screen is not feasible like large screens or projected screens.

연구 동기 및 목표

• 소비자용 웹캠과 색상 마커만을 사용하여 저비용의 실시간 인간-컴퓨터 상호작용(HCI) 시스템을 개발한다.
• 실시간 추적 과정에서 다양한 조명 조건, 배경 간섭, 부분 가림 등에 대응하여 마커 감지를 안정적으로 수행한다.
• 마우스나 터치패드와 같은 전통적인 입력 장치를 대체하여 데스크톱 및 대형 스크린 기기의 직관적이고 체계적인 제어를 가능하게 한다.
• 적응 학습과 최적화된 감지 알고리즘을 통해 사용자 우수성과 높은 인식 정확도를 확보한다.
• 깊이 감지 기능을 통한 3차원 확장 가능성을 고려하여 2차원 공간에서 마커 기반 손동작 제어의 실현 가능성을 입증한다.

제안 방법

• 계산 복잡도를 줄이고 실시간 마커 감지를 가속화하기 위해 슬라이딩 윈도우 기반의 템플릿 매칭을 적용한다.
• 마커 위치를 예측하고 일시적인 가림이나 빠른 움직임에 대응하기 위해 칼만 필터링을 통합하여 추적의 강건성을 향상시킨다.
• 조명 변화에 민감도를 낮추기 위해 마커 감지 과정에서 색상의 Hue와 Saturation 값에 집중하기 위해 HSL 색상 공간을 사용한다.
• 사전 정의된 영역 범위 외의 영역을 거부함으로써 배경 객체와의 구분을 위해 크기 기반 필터링 기준을 구현한다.
• 마커 실종 후 재감지를 가속화하기 위해 원형 스캔과 경계 상자 기반 기법을 적용하여 복구 속도를 약 12% 향상시켰다.
• 손가락 끝에 빨간색과 초록색 마커를 사용하여 8종의 구분 가능한 손동작을 정의하고, 표준 시스템 명령(예: 왼쪽 클릭, 줌 인/아웃)에 매핑한다.

실험 결과

연구 질문

• RQ1 소비자용 웹캠만을 사용하는 저비용의 마커 기반 시스템이 실시간으로 정확한 손동작 인식을 달성할 수 있는가?
• RQ2 빠른 움직임이나 부분 가림과 같은 동적 조건에서 템플릿 매칭과 칼만 필터링의 조합이 마커 추적의 강건성에 얼마나 효과적인가?
• RQ3 반복적인 사용을 통해 사용자의 성능 향상 정도는 어느 정도이며, 시스템은 시간이 지남에 따라 사용자 적응을 어떻게 지원하는가?
• RQ4 검색 윈도우와 크기 기반 필터링을 통해 복잡한 시각 환경에서 감지 속도와 정확도가 어떻게 향상되는가?
• RQ5 특수 하드웨어 없이도 특정 손동작을 표준 시스템 명령에 안정적으로 매핑할 수 있는가?

주요 결과

• 시스템은 평균적으로 0.025초당 1프레임의 속도로 영상을 처리하여 실시간 상호작용이 가능한 실용적인 HCI 응용에 적합하다.
• 사용자 정확도는 첫 10회 시도 시 59.38%에서 30회 시도 후 79.4%로 크게 향상되어 시스템의 적응 가능성과 학습 능력을 입증한다.
• 원형 스캔에서 경계 상자를 사용함으로써 표준 스캔 방식에 비해 마커 재감지 시간을 약 12% 감소시켰다.
• 5명의 사용자에 대한 평균 손동작 인식 정확도는 반복 사용 후 79.4%에 도달하여 시스템의 높은 신뢰성과 사용자 우수성을 입증한다.
• 시스템은 왼쪽/오른쪽 클릭, 줌 인/아웃 등의 8종의 명확한 손동작을 일관된 인식 성능으로 해당 시스템 명령에 성공적으로 매핑하였다.
• 색상 공간 변환(HSL)과 크기 기반 필터링의 통합으로 유사 색상의 배경 객체로부터의 오류 감지 수를 크게 감소시켰다.