[논문 리뷰] Implementation of Hand Detection based Techniques for Human Computer Interaction

Amiraj Dhawan, Vipul Honrao|arXiv (Cornell University)|2013. 12. 29.

Hand Gesture Recognition Systems참고 문헌 1인용 수 24

한 줄 요약

이 논문은 컴퓨터 비전 기법을 사용하여 손 감지 기반의 인간-컴퓨터 상호작용 시스템을 제안하며, 기존 컴퓨터 및 모바일 기기에서도 제스처 기반 입력을 가능하게 한다. 색상 분할 및 윤곽 분석을 통해 실시간으로 손 윤곽을 감지하고 제스처를 추적함으로써 하드웨어 주변기기 없이 반응성 있는 상호작용을 실현하며, 게임 및 모바일 인터페이스와 같은 분야에서 무접촉 제어의 가능성을 입증한다.

ABSTRACT

The computer industry is developing at a fast pace. With this development almost all of the fields under computers have advanced in the past couple of decades. But the same technology is being used for human computer interaction that was used in 1970s. Even today the same type of keyboard and mouse is used for interacting with computer systems. With the recent boom in the mobile segment touchscreens have become popular for interaction with cell phones. But these touchscreens are rarely used on traditional systems. This paper tries to introduce methods for human computer interaction using the users hand which can be used both on traditional computer platforms as well as cell phones. The methods explain how the users detected hand can be used as input for applications and also explain applications that can take advantage of this type of interaction mechanism.

연구 동기 및 목표

• 기존의 키보드와 마우스와 같은 오래된 입력 방식에 의존하는 인간-컴퓨터 상호작용 인터페이스의 정체를 해결하기 위해.
• 손 제스처 인식을 활용해 저비용이고 접근성이 높은 기존 입력 장치의 대안을 개발하기 위해.
• 기본 카메라를 사용하여 데스크톱 시스템과 모바일 기기에서 모두 제스처 기반 상호작용을 가능하게 하기 위해.
• 실시간 상호작용 시스템에서 손 감지의 실용적 응용을 입증하기 위해.
• 신개념의 모바일 터치 인터페이스와 전통적인 컴퓨팅 플랫폼 간 격차를 메우기 위해.

제안 방법

• 시스템은 실시간 영상 입력에서 배경과 손 영역를 분리하기 위해 HSV 색상 공간에서 색상 기반 분할을 사용한다.
• 윤곽 검출 및 볼록 Hull 분석을 적용하여 손의 형태를 추출하고 손가락 끝을 식별한다.
• 중심점 기반 추적 메커니즘을 통해 영상 프레임 간 손 위치를 유지하여 지속적인 상호작용을 구현한다.
• 손 모양과 위치의 시간에 따른 변화를 분석하여 제스처 인식을 구현한다.
• 시스템은 특수 하드웨어 없이 표준 웹캠 또는 모바일 기기의 카메라에서 입력을 처리한다.
• 가상 마우스 제어 및 제스처 기반 탐색과 같은 응용 프로그램은 감지된 손 특징을 기반으로 프로토타yped된다.

실험 결과

연구 질문

• RQ1 표준 카메라를 사용한 손 감지가 효과적이고 반응성 있는 인간-컴퓨터 상호작용을 가능하게 할 수 있는가?
• RQ2 최소한의 계산 부하로 실시간 손 제스처 인식을 어떻게 달성할 수 있는가?
• RQ3 손 감지 시스템이 데스크톱 및 모바일 플랫폼 모두에 얼마나 잘 적응될 수 있는가?
• RQ4 기존 입력 장치의 대체로 손 기반 상호작용의 실용적 응용은 무엇인가?
• RQ5 다양한 조도 및 배경 조건에서 손 감지의 정확성과 신뢰성은 어느 정도인가?

주요 결과

• 시스템은 표준 웹캠과 모바일 카메라를 사용하여 실시간으로 손 제스처를 감지하고 추적하는 데 성공했다.
• HSV 공간에서의 색상 분할이 중간 정도의 조도 변화 조건에서도 손 영역를 효과적으로 분리하는 데 기여했다.
• 윤곽 및 볼록 Hull 분석을 통해 손의 형태와 손가락 끝 위치를 정확하게 식별할 수 있었다.
• 가상 마우스 제어 및 제스처 탐색과 같은 프로토타입 응용 프로그램에서 기능적인 상호작용을 보였다.
• 시스템은 데스크톱 및 모바일 플랫폼 모두에 적응 가능하여 크로스 디바이스 상호작용을 지원했다.
• 특수 하드웨어 없이도 저지연 상호작용을 달성하여 실시간 응용 프로그램에 적합한 성능을 보였다.