[논문 리뷰] Preprint Touch-less Interactive Augmented Reality Game on Vision Based Wearable Device

Zhihan Lv, Alaa Halawani외 3명|arXiv (Cornell University)|2015. 04. 23.

Gaze Tracking and Assistive Technology참고 문헌 79인용 수 7

한 줄 요약

이 논문은 시각 기반 웨어러블 장치를 사용하여 사용자가 카메라로 촬영한 동적 손짓과 발짓을 통해 가상 객체를 제어할 수 있는 촉각 없이 상호작용하는 증강현실 게임 시스템을 제시한다. Google Glass와 하이브리드 웨어러블 프레임워크를 이용한 비교 평가를 통해 시스템은 향상된 사용성과 사회적 수용성을 입증하여 몰입감 있고 손이 자유로운 AR 게임의 잠재력을 입증한다.

ABSTRACT

This is the preprint version of our paper on Personal and Ubiquitous Computing. There is an increasing interest in creating pervasive games based on emerging interaction technologies. In order to develop touch-less, interactive and augmented reality games on vision-based wearable device, a touch-less motion interaction technology is designed and evaluated in this work. Users interact with the augmented reality games with dynamic hands/feet gestures in front of the camera, which triggers the interaction event to interact with the virtual object in the scene. Three primitive augmented reality games with eleven dynamic gestures are developed based on the proposed touch-less interaction technology as proof. At last, a comparing evaluation is proposed to demonstrate the social acceptability and usability of the touch-less approach, running on a hybrid wearable framework or with Google Glass, as well as workload assessment, user's emotions and satisfaction.

연구 동기 및 목표

• 웨어러블 장치에서 즉각 없는 제스처 기반 상호작용 시스템을 개발하기 위해.
• 실세계 AR 게임 시나리오에서 즐기기 위한 즐거움과 사회적 수용성의 사용성 평가를 위해.
• 열한 가지의 동적 제스처를 사용하여 삼개의 AR 게임을 실현하고 테스트하기 위해.
• Google Glass와 하이브리드 웨어러블 프레임워크를 사용한 비교 연구를 통해 사용자 작업 부담, 정서 반응, 만족도 평가를 위해.
• 물리적 접촉 없이도 시각 기반 제스처 인식이 상호작용 가능한 AR 경험을 위해 실현 가능함을 입증하기 위해.

제안 방법

• 시각 기반 제스처 인식 시스템은 웨어러블 카메라에서 온 실시간 영상 입력을 처리하여 동적 손짓과 발짓을 탐지한다.
• 특정 제스처 패턴을 상호작용 이벤트로 매핑하여 가상 환경에서 반응을 유도한다.
• 열한 가지의 고유한 동적 제스처를 사용하여 제스처 상호작용 파이프라인을 테스트하기 위해 삼개의 프로토타입 AR 게임을 개발했다.
• 모바일 하드웨어에서 실시간 처리와 낮은 지연 시간 상호작용을 지원하기 위해 하이브리드 웨어러블 프레임워크를 구현했다.
• 사용자 평가에는 표준화된 지표를 사용한 작업 부담 평가, 정서 반응 추적, 만족도 지표가 포함되었다.
• 성능과 사용자 경험을 평가하기 위해 하이브리드 프레임워크와 Google Glass 간의 비교 분석을 수행했다.

실험 결과

연구 질문

• RQ1 웨어러블 장치에서 증강현실 게임을 제어하기 위해 즐기기 위한 즐거움과 사회적 수용성의 사용성 평가를 위해.
• RQ2 실세계 AR 게임 환경에서 제스처 기반 AR 상호작용의 사용자 만족도와 사회적 수용성 수준은 어떠한가?
• RQ3 다른 웨어러블 플랫폼 간 사용자 작업 부담과 정서 반응은 어떻게 비교되는가?
• RQ4 동적 손짓과 발짓이 얼마나 신뢰성 있게 탐지되고 가상 상호작용에 매핑될 수 있는가?
• RQ5 Google Glass와 같은 상용 장치와 비교했을 때, 맞춤형 하이브리드 웨어러블 프레임워크의 성능 및 사용성의 상호 교환 조건은 어떠한가?

주요 결과

• 촉각 없는 제스처 상호작용 시스템은 AR 환경에서 동적 손짓과 발짓을 사용하여 실시간으로 가상 객체를 제어하는 데 성공했다.
• 사용자들은 제스처 제어를 통해 AR 게임을 상호작용할 때 높은 만족도를 보였고, 작업 부담이 낮다고 느꼈다.
• 비교 평가 결과, 하이브리드 웨어러블 프레임워크가 Google Glass보다 반응성과 사용성 측면에서 뛰어났다.
• 촉각 없는 상호작용의 사회적 수용성은 긍정적으로 평가되었으며, 사용자들은 이를 직관적이고 몰입감 있게 느꼈다.
• 정서 반응 분석 결과, 사용자들은 게임 플레이 중 즐거움과 몰입감 같은 긍정적인 감정을 경험했다.
• 시스템은 실시간 운영에서 최소한의 지연 시간으로 열한 가지의 고유한 동적 제스처를 안정적으로 탐지하는 데 성공했다.