[논문 리뷰] Vision Based Game Development Using Human Computer Interaction

S. Sumathi, S. K. Srivatsa외 1명|arXiv (Cornell University)|2010. 02. 10.

Gaze Tracking and Assistive Technology참고 문헌 4인용 수 6

한 줄 요약

이 논문은 전통적인 마우스 입력을 얼굴 제스처로 대체하는 시각 기반 인간-컴퓨터 상호작용 시스템을 제시한다. 눈의 끝부분 이동을 실시간으로 감지하여 마우스 커서를 제어하고, 눈 깜빡임을 왼쪽/오른쪽 클릭으로 사용한다. 저비용 USB 카메라를 사용하여 개발된 이 시스템은 30 fps 성능을 달성하며, 실시간 영상 스트림에서 얼굴 특징 추적을 통해 자연스럽고 손을 쓰지 않는 게임 상호작용을 가능하게 한다.

ABSTRACT

A Human Computer Interface (HCI) System for playing games is designed here for more natural communication with the machines. The system presented here is a vision-based system for detection of long voluntary eye blinks and interpretation of blink patterns for communication between man and machine. This system replaces the mouse with the human face as a new way to interact with the computer. Facial features (nose tip and eyes) are detected and tracked in realtime to use their actions as mouse events. The coordinates and movement of the nose tip in the live video feed are translated to become the coordinates and movement of the mouse pointer on the application. The left or right eye blinks fire left or right mouse click events. The system works with inexpensive USB cameras and runs at a frame rate of 30 frames per second.

연구 동기 및 목표

• 시각 기반 상호작용을 통해 게임용 자연스럽고 손을 쓰지 않는 인간-컴퓨터 인터페이스를 개발하기 위해.
• 특히 코 끝의 움직임과 눈 깜빡임을 통해 기존 마우스 입력을 얼굴 제스처로 대체하기 위해.
• 저비용 하드웨어(USB 카메라)를 사용하여 실시간, 저지연 제어를 구현하기 위해.
• 자발적인 눈 깜빡임 패tern을 통해 인간과 컴퓨터 간의 직관적인 통신을 가능하게 하기 위해.
• 최소한의 사용자 훈련으로도 시각 기반 상호작용이 게임 응용 분야에서 실현 가능함을 입증하기 위해.

제안 방법

• 실시간 영상 스트림에서 얼굴 특징—코 끝과 눈—을 컴퓨터 시각 기법을 사용해 감지하고 추적하기 위해.
• 비디오 피드에서 코 끝 좌표를 화면 상의 마우스 커서 이동으로 변환하기 위해.
• 왼쪽 또는 오른쪽 눈 깜빡임을 왼쪽 또는 오른쪽 마우스 클릭 이벤트로 매핑하기 위해.
• 입력용으로 표준 USB 웹캠을 사용하여 저비용 및 접근 용이한 구현 보장하기 위해.
• 부드럽고 반응성이 뛰어난 상호작용을 위해 30 fps의 프레임 레이트를 구현하기 위해.
• 얼굴 제스처를 입력 명령어로 해석하기 위해 컴퓨터 시각 및 패턴 인식 알고리즘 적용하기 위해.

실험 결과

연구 질문

• RQ1 코 움직임과 눈 깜빡임과 같은 얼굴 제스처가 마우스 제어 및 클릭으로 신뢰성 있게 감지되고 변환될 수 있는가?
• RQ2 저비용 USB 카메라 설정이 시각 기반 입력을 통해 실시간 상호작용이 가능한 게임을 지원하는 데 얼마나 효과적인가?
• RQ3 자발적인 눈 깜빡임 패턴을 사용하여 왼쪽/오른쪽 클릭과 같은 구분 가능한 입력 명령어를 최소한의 지연으로 인식할 수 있는가?
• RQ4 시스템이 기존의 입력 장치 없이 자연스럽고 직관적인 인간-컴퓨터 상호작용을 어느 정도 가능하게 하는가?
• RQ5 게임 응용 분야에서 시각 기반 인터페이스의 성능 한계는 어떤가? (프레임 레이트 및 반응성 측면에서)

주요 결과

• 시스템은 30 fps의 프레임 레이트로 실시간으로 코 끝의 움직임을 마우스 커서 이동으로 성공적으로 매핑하였다.
• 왼쪽 및 오른쪽 눈 깜빡임이 정확하게 감지되어 각각 왼쪽 및 오른쪽 마우스 클릭 이벤트로 매핑되었다.
• 시스템은 저비용 표준 USB 웹캠만으로도 효과적으로 작동하여 하드웨어 의존도를 낮추었다.
• 자연스러운 얼굴 제스처를 통해 손을 쓰지 않는 게임 제어를 가능하게 하여 접근성과 사용자 참여도를 향상시켰다.
• 실시간 게임 응용 분야에 적합한 안정적이고 반응성이 뛰어난 상호작용을 구현하였다.
• 얼굴 기능을 입력 모odalities로 활용함으로써 기존의 입력 장치에 대한 실질적인 대안을 제공하였다.