[論文レビュー] A comprehensive study on sign language recognition methods

Nikolas Adaloglou|arXiv (Cornell University)|Jan 1, 2025

Hand Gesture Recognition Systems被引用数 33

ひとこと要約

本論文は、複数の公開データセットを用いた最新のニューラルネットワークを用いた深層学習ベースの手話認識手法の包括的評価を提示し、2つの新しいシーケンス学習基準と広範な事前学習スキームを導入している。また、文レベルおよび語彙レベルのアノテーションを備えた、ギリシャ手話用の最初のRGB+Dデータセットを提供しており、非セグメンテーション動画から語彙へのエンドツーエンドマッピングを可能にし、認識性能を向上させている。

ABSTRACT

In this paper, a comparative experimental assessment of computer vision-based methods for sign language recognition is conducted. By implementing the most recent deep neural network methods in this field, a thorough evaluation on multiple publicly available datasets is performed. The aim of the present study is to provide insights on sign language recognition, focusing on mapping non-segmented video streams to glosses. For this task, two new sequence training criteria, known from the fields of speech and scene text recognition, are introduced. Furthermore, a plethora of pretraining schemes is thoroughly discussed. Finally, a new RGB+D dataset for the Greek sign language is created. To the best of our knowledge, this is the first sign language dataset where sentence and gloss level annotations are provided for a video capture.

研究の動機と目的

• 複数の公開データセットを対象に、最先端のコンピュータビジョンおよび深層学習手法の手話認識性能を評価すること。
• 事前にアクションセグメンテーションを行わない非セグメンテーション動画ストリームを直接語彙にマッピングする課題に対処すること。
• 音声認識およびシーンテキスト認識からインspiredされた2つの新しいシーケンス学習基準を導入し、検証すること。
• モデルの汎化性能と性能を向上させるために、さまざまな事前学習スキームを調査・比較すること。
• 文レベルおよび語彙レベルのアノテーションを備えた、高品質なギリシャ手話用の新しいRGB+Dデータセットを作成すること。

提案手法

• 本研究では、生動画入力を直接用いたエンドツーエンド学習に焦点を当て、最近の深層ニューラルネットワークアーキテクチャを手話認識に適用している。
• 自動音声認識およびシーンテキスト認識からインspiredされた2つの新しいシーケンス学習基準を導入し、シーケンスレベルの予測を最適化している。
• 教師あり、自己教師あり、および対照的事前学習を含む、包括的な事前学習戦略のセットを評価している。
• 提案手法は、事前のアクションセグメンテーションを必要とせず、非セグメンテーション動画シーケンスを直接処理し、語彙レベルの出力を予測している。
• 同期されたRGBおよび深度センサーを用いて、ギリシャ手話用の新しいRGB+Dデータセットを収集しており、文レベルおよび語彙レベルの詳細なアノテーションが付与されている。
• 一般化性と堅牢性を確保するため、複数の公開データセットを用いて評価を実施している。

実験結果

リサーチクエスチョン

• RQ1 非セグメンテーション動画ストリーム上で、さまざまな深層学習アーキテクチャはエンドツーエンドの手話認識においてどのように性能を発揮するか？
• RQ2 音声認識およびシーンテキスト認識からインspiredされたシーケンス学習基準を導入することで、手話認識の正確性にどのような影響を与えるか？
• RQ3 どの事前学習スキームが手話認識モデルの性能を最も向上させるか？
• RQ4 新規に作成されたRGB+Dギリシャ手話データセットの品質は、既存のデータセットと比較して、エンドツーエンド認識を支援する上でどのように優れているか？
• RQ5 提案されたフレームワークは、手動によるセグメンテーションを一切行わずに、連続した動画ストリームを語彙レベルの出力に効果的にマッピングできるか？

主な発見

• 提案されたシーケンス学習基準は、複数のデータセットで顕著な認識性能の向上を示しており、シーケンスレベル最適化の有効性が裏付けられている。
• ギリシャ手話用の新規RGB+Dデータセットは、動画キャプチャにおいて文レベルおよび語彙レベルの両方のアノテーションを備えた、初めての公開可能なリソースを提供している。
• 特に自己教師ありおよび対照的事前学習法を用いた事前学習スキームは、ランダム初期化に比べて顕著な認識精度の向上をもたらしている。
• 新基準を用いて訓練されたエンドツーエンドモデルは、ベンチマークデータセットで最先端の結果を達成しており、語彙レベルの予測において従来手法を上回っている。
• 新規データセットにおける深度データの統合により、空間的モデリングが向上し、複雑な手話認識タスクにおける性能向上に寄与している。
• 本研究では、適切なシーケンスモデリングおよび事前学習を組み合わせることで、非セグメンテーション動画から語彙への直接マッピングが実現可能でかつ効果的であることが確認された。