[論文レビュー] Mediapipe and CNNs for Real-Time ASL Gesture Recognition

Rupesh Kumar, Ashutosh Bajpai+1 more|arXiv (Cornell University)|May 9, 2023

Hand Gesture Recognition Systems被引用数 13

ひとこと要約

Mediapipeを用いた特徴抽出とCNN分類器を用いるリアルタイムのASLジェスチャ認識システムは、ASLアルファベットで99.95%の精度を達成します。

ABSTRACT

This research paper describes a realtime system for identifying American Sign Language (ASL) movements that employs modern computer vision and machine learning approaches. The suggested method makes use of the Mediapipe library for feature extraction and a Convolutional Neural Network (CNN) for ASL gesture classification. The testing results show that the suggested system can detect all ASL alphabets with an accuracy of 99.95%, indicating its potential for use in communication devices for people with hearing impairments. The proposed approach can also be applied to additional sign languages with similar hand motions, potentially increasing the quality of life for people with hearing loss. Overall, the study demonstrates the effectiveness of using Mediapipe and CNN for real-time sign language recognition, making a significant contribution to the field of computer vision and machine learning.

研究の動機と目的

• 最新のコンピュータビジョンツールを組み合わせたリアルタイムのASLジェスチャ認識パイプラインを実証する。
• ASL認識における手の特徴抽出のためのMediapipeの有効性を評価する。
• 抽出された特徴に基づくCNN分類器を訓練し、ASLアルファベット認識の性能を評価する。

提案手法

• Mediapipeを用いてビデオフレームから手と指の特徴を抽出し、それをCNNの入力とする。
• Mediapipeの特徴に基づいてASLジェスチャを分類する畳み込みニューラルネットワークを訓練する。
• ASLアルファベットに対するリアルタイム性能と分類精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 Mediapipeベースの特徴抽出とCNN分類を組み合わせて、リアルタイムで高精度のASLアルファベット認識を実現できるか？
• RQ2 提案されたパイプラインのASLジェスチャに対する認識精度はどれくらいか？
• RQ3 同様の手の動作を伴う他の手話言語にも適用可能か？

主な発見

• 提案されたシステムはASLアルファベットで99.95%の精度を達成する。
• このアプローチは聴覚障害のある人向けの通信デバイスに適したリアルタイム性を示している。
• MediapipeとCNNは、類似した手の動作を持つ追加の手話言語へ拡張する可能性を示している。