[論文レビュー] A Comprehensive Review of Sign Language Recognition: Different Types, Modalities, and Datasets

Manoharan Madhiarasan, Prof. Partha Pratim Roy|arXiv (Cornell University)|Apr 7, 2022

Hand Gesture Recognition Systems被引用数 28

ひとこと要約

この論文は手話認識（SLR）の広範な調査を提供し、モダリティ（視覚ベースとセンサーベース）、isolated vs continuous signs、データセット、特徴抽出、分類器、そして将来の方向性を詳述します。

ABSTRACT

A machine can understand human activities, and the meaning of signs can help overcome the communication barriers between the inaudible and ordinary people. Sign Language Recognition (SLR) is a fascinating research area and a crucial task concerning computer vision and pattern recognition. Recently, SLR usage has increased in many applications, but the environment, background image resolution, modalities, and datasets affect the performance a lot. Many researchers have been striving to carry out generic real-time SLR models. This review paper facilitates a comprehensive overview of SLR and discusses the needs, challenges, and problems associated with SLR. We study related works about manual and non-manual, various modalities, and datasets. Research progress and existing state-of-the-art SLR models over the past decade have been reviewed. Finally, we find the research gap and limitations in this domain and suggest future directions. This review paper will be helpful for readers and researchers to get complete guidance about SLR and the progressive design of the state-of-the-art SLR model

研究の動機と目的

• 過去20年間のSLRの進化を、isolated/manual、isolated/non-manual、continuous/manual、continuous/non-manual設定の観点から要約する。
• 感覚モダリティ（視覚ベースとセンサーベース）、前処理、特徴抽出手法、分類技術を論じる。
• isolatedとcontinuousのタイプ別、手話言語別にSLRデータセットを整理・比較し、データセットの複雑さと制約を強調する。
• 現在の障壁、ギャップ、将来の研究方向を特定し、最先端のSLRモデル設計を指針とする。
• SLRシステムのフレームワーク要素と、それらの人間とコンピュータの相互作用への実践的影響についての指針を提供する。

提案手法

• IEEE Xplore、ScienceDirect、Springer、Web of Science、Google Scholarなどのデータベースを用い、sign language recognitionなどのキーワードで文献調査を実施する。
• データセット、入力モダリティ、特徴、分類、計算資源、応用を含むSLRの分類体系を開発する。
• SLRをvision-based vs sensor-based、manual vs non-manual、isolated vs continuousに特徴づける。
• 前研究からの前処理、特徴抽出、分類器の選択を要約する。
• ベンチマークデータセット上で最先端SLRモデルを比較し、限界とギャップを議論する。

実験結果

リサーチクエスチョン

• RQ1 SLRで使用される主なモダリティとデータソースは何か（vision-based vs sensor-based）？
• RQ2 isolatedとcontinuousのSLRは方法論と性能でどう異なり、どのデータセットがそれらをサポートしているか？
• RQ3 SLRの現状の最先端モデルとベンチマークデータセットは何か、一般化に影響を与える制限は何か？
• RQ4 SLR研究を前進させるためのギャップ、課題、将来の方向性は何が提案されているか？

主な発見

• SLRの性能はデータセットのサイズ、モダリティ、背景/環境の複雑さに影響される。
• 視覚ベースのSLRはリアルタイムアプリケーションの実現性が高いため普及しているが、前処理と特徴抽出を慎重に行う必要がある。
• センサーベースのアプローチはより良い性能を提供できることがあるが、リアルタイ deploymentには不向きであり、ウェアラブル機器や手袋を含む。
• さまざまなデータセットでの最先端の結果は深層学習モデルで高精度を示し、例えばあるデータセットでのHCRFベースの結果は95%近く、また別の研究では数字で99.99%、アルファベットで99.9%に達している（いくつかの報告事例））。
• この論文は、大規模で多様なデータセットとモダリティが認識性能に決定的に影響すること、continuous/non-manualと signer-independent generalizationには未解決のギャップがあることを強調している。
• World Health Organizationのデータによると、4億6600万人以上が音声または聴覚に障害を持つとされ、SLRの関連性を強調している。