[논문 리뷰] NFS: A Hand Gesture Recognition Based Game Using MediaPipe and PyGame

Md Rafid Islam, Ratun Rahman외 2명|arXiv (Cornell University)|2022. 04. 23.

Hand Gesture Recognition Systems인용 수 4

한 줄 요약

이 논문은 실시간 손 랜드마크 검출을 위한 MediaPipe와 게임 렲영을 위한 PyGame를 사용하는 수동 제스처 인식 게임인 NFS를 제시한다. 기존의 컨트롤러 대신 제스처 기반 상호작용을 도입함으로써, 난이도가 높아졌음에도 불구하고 더 높은 재미와 재도전 가능성을 달성하여 제스처 기반 게이밍의 인간-컴퓨터 상호작용 내구성을 입증한다.

ABSTRACT

This paper represents a game which interacts with humans via hand gesture movement. Nowadays, apps like this seem rare, and there seems to be a window opening for this kind of application to be more prevalent and useful in the near future. This application is based on hand gesture movement instead of being dependent on a keyboard and mouse. The main issue was to figure out how to utilize machine learning to make this application work as it should be. First, two games were selected one with a traditional controller and another with hand gesture method. Then these two games based on the difficulty to use, fun elements, gameplay, and replayability were compared. Though the difficulty increases but the other three aspects improve significantly. After going through all of that a conclusion can be drawn that people are more likely to play a simple hand gesture-based game.

연구 동기 및 목표

• 키보드와 마우스와 같은 전통적인 입력 방식을 대체하는 제스처 기반 게임 애플리케이션을 개발하는 것.
• 기존 컨트롤러 기반 버전과 비교하여 손 제스처 제어 게임의 사용성과 사용자 경험을 평가하는 것.
• 제스처 기반 상호작용이 난이도가 높음에도 불구하고 게임의 재미와 재도전 가능성을 향상시킬 수 있는지 조사하는 것.
• MediaPipe의 손 추적 기능과 PyGame를 실시간 상호작용 애플리케이션에 실제로 통합하는 것을 보여주는 것.

제안 방법

• MediaPipe Hands는 비디오 스트림에서 인간 손의 21개의 핵심 지점 랜드마크를 실시간으로 검출하는 데 사용된다.
• 검출된 손 랜드마크는 특정 제스처(예: 손가락 수세기 또는 손 모양)를 인식하기 위해 처리되며, 이는 게임 제어로 사용된다.
• PyGame를 사용하여 게임 환경을 자체적으로 구축하여 게임을 렌더링하고 제스처 입력을 게임 내 동작으로 해석한다.
• 시스템은 두 가지 게임 버전을 비교한다: 하나는 전통적인 입력 방식을 사용하고, 다른 하나는 손 제스처를 사용하며, 둘 다 게임 플레이, 난이도, 재미, 재도전 가능성을 평가한다.
• 게임 로직은 제스처 상태에 반응하도록 구현되어 손 자세에 따라 이동 또는 선택과 같은 동작을 가능하게 한다.
• 전체 파이프라인은 표준 CPU에서 실시간으로 실행되어 반응성 있는 게임 플레이를 위한 낮은 지연 시간을 보장한다.

실험 결과

연구 질문

• RQ1 제스처 기반 상호작용은 전통적인 컨트롤러 입력 방식과 비교해 게임 플레이 즐거움과 사용자 참여도 측면에서 어떻게 다른가?
• RQ2 손 제스처 인식 시스템은 실시간 게임 애플리케이션에 충분한 정확도와 반응성 달성할 수 있는가?
• RQ3 제스처 제어 게임에서 난이도가 높아졌을 때 재미와 재도전 가능성이 향상되는 데 따른 상호 보완적 타협은 무엇인가?
• RQ4 MediaPipe의 손 추적 기능은 상호작용 게임 개발에 있어 PyGame와 얼마나 효과적으로 통합될 수 있는가?

주요 결과

• 제스처 기반 게임 버전은 전통적인 컨트롤러 버전보다 훨씬 높은 수준의 재미와 재도전 가능성을 보였다.
• 비록 제스처 기반 게임이 더 높은 난이도를 지녔지만, 사용자들은 직관적인 신체 상호작용 덕분에 더 높은 몰입도와 즐거움을 보고 보고했다.
• MediaPipe와 PyGame의 통합은 실시간, 저지연 제스처 인식을 가능하게 하여 상호작용 게임에 적합한 것으로 입증되었다.
• 시스템은 손 제스처 인식이 게임 애플리케이션에서 전통적인 입력 방식의 실질적인 대안이 될 수 있음을 보여주었다.