[論文レビュー] NFS: A Hand Gesture Recognition Based Game Using MediaPipe and PyGame

Md Rafid Islam, Ratun Rahman+2 more|arXiv (Cornell University)|Apr 23, 2022

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本稿では、リアルタイムでの手のランドマーク検出にMediaPipeを、ゲームのレンダリングにPyGameを用いた、手のジェスチャー認識ゲームNFSを提案する。従来のコントローラーに代わってジェスチャーによるインタラクションを採用することで、難易度が上昇するものの、遊びの楽しさと再プレイ性が向上し、ジェスチャーに基づくゲームプレイの実用性が示された。

ABSTRACT

This paper represents a game which interacts with humans via hand gesture movement. Nowadays, apps like this seem rare, and there seems to be a window opening for this kind of application to be more prevalent and useful in the near future. This application is based on hand gesture movement instead of being dependent on a keyboard and mouse. The main issue was to figure out how to utilize machine learning to make this application work as it should be. First, two games were selected one with a traditional controller and another with hand gesture method. Then these two games based on the difficulty to use, fun elements, gameplay, and replayability were compared. Though the difficulty increases but the other three aspects improve significantly. After going through all of that a conclusion can be drawn that people are more likely to play a simple hand gesture-based game.

研究の動機と目的

• キーボードやマウスといった従来の入力方法に代わるジェスチャーに基づくゲームアプリケーションの開発を目的とする。
• 従来のコントローラー方式と比較して、手のジェスチャー制御ゲームの使いやすさとユーザーエクスペリエンスを評価することを目的とする。
• ジェスチャーに基づくインタラクションが、難易度が高くなるにもかかわらず、遊びの楽しさと再プレイ性を向上させることに寄与するかどうかを調査することを目的とする。
• MediaPipeの手の追跡機能とPyGameを組み合わせたリアルタイムインタラクティブアプリケーションへの実用的統合を示すこと

提案手法

• MediaPipe Handsを用いて、ビデオストリームから人の手の21ポイントのキーポイントランドマークをリアルタイムで検出する。
• 検出された手のランドマークを処理し、指の数え上げや手の形といった特定のジェスチャーを認識し、ゲームの操作として使用する。
• PyGameを用いてカスタムゲーム環境を構築し、ゲームのレンダリングとジェスチャー入力をもとにしたゲーム内アクションの解釈を実現する。
• ゲームの2つのバージョン（従来の入力方式とジェスチャー制御方式）を比較し、ゲームプレイ、難易度、楽しさ、再プレイ性の観点から評価する。
• ゲームのロジックをジェスチャー状態に応じて反応可能に実装し、手のポーズに応じて移動や選択などのアクションを可能にする。
• パイプライン全体が標準CPU上でリアルタイムに動作し、応答性の高いゲームプレイを実現する低レイテンシを確保する。

実験結果

リサーチクエスチョン

• RQ1 ジェスチャーによるインタラクションと従来のコントローラー入力との間で、ゲームプレイの楽しさとユーザーエンゲージメントにどのような差が生じるか？
• RQ2 手のジェスチャー認識システムは、リアルタイムゲームアプリケーションに十分な正確性と応答性を備えているか？
• RQ3 ジェスチャー制御ゲームにおいて、難易度の上昇と遊びの楽しさ・再プレイ性の向上の間にはどのようなトレードオフがあるか？
• RQ4 MediaPipeの手の追跡機能は、インタラクティブゲーム開発において、どの程度効果的にPyGameと統合できるか？

主な発見

• ジェスチャー制御ゲームバージョンは、従来のコントローラー方式と比較して、著しく高い楽しさと再プレイ性を示した。
• ジェスチャー制御ゲームは難易度が高かったものの、直感的な身体的インタラクションのおかげで、ユーザーはより高い没入感と満足度を報告した。
• MediaPipeとPyGameの統合により、インタラクティブゲームに適したリアルタイムで低レイテンシのジェスチャー認識が実現された。
• 本システムは、ゲームアプリケーションにおいて手のジェスチャー認識が従来の入力方法の代替として実用的であることを示した。