[論文レビュー] Word-level Sign Language Recognition with Multi-stream Neural Networks Focusing on Local Regions and Skeletal Information

Mizuki Maruyama, Singh, Shrey+4 more|arXiv (Cornell University)|Jun 30, 2021

Hand Gesture Recognition Systems参考文献 43被引用数 6

ひとこと要約

本稿では、局所的領域画像（手および顔）とスケルトンデータを統合することで、I3Dベースのモデルの性能を向上させる、単語レベルの手話認識（WSLR）を目的としたマルチストリームニューラルネットワーク（MSNN）を提案する。分類スコアのラテント平均化によるグローバル、ローカル、スケルトンストリームの統合により、WLASLデータセット上で先行研究の最高性能を15%上回るトップ1精度を達成した。

ABSTRACT

Word-level sign language recognition (WSLR) has attracted attention because it is expected to overcome the communication barrier between people with speech impairment and those who can hear. In the WSLR problem, a method designed for action recognition has achieved the state-of-the-art accuracy. Indeed, it sounds reasonable for an action recognition method to perform well on WSLR because sign language is regarded as an action. However, a careful evaluation of the tasks reveals that the tasks of action recognition and WSLR are inherently different. Hence, in this paper, we propose a novel WSLR method that takes into account information specifically useful for the WSLR problem. We realize it as a multi-stream neural network (MSNN), which consist of three streams: 1) base stream, 2) local image stream, and 3) skeleton stream. Each stream is designed to handle different types of information. The base stream deals with quick and detailed movements of the hands and body, the local image stream focuses on handshapes and facial expressions, and the skeleton stream captures the relative positions of the body and both hands. This approach allows us to combine various types of data for more comprehensive gesture analysis. Experimental results on the WLASL and MS-ASL datasets show the effectiveness of the proposed method; it achieved an improvement of approximately 10\%--15\% in Top-1 accuracy when compared with conventional methods.

研究の動機と目的

• グローバルな外観特徴を超えて、局所的な視覚的および空間的スケルトン情報を取り入れることで、単語レベルの手話認識（WSLR）の精度を向上させること。
• I3Dネットワークが手の形状、顔の表情、および手と体の空間的関係を十分に捉えられていないという限界を是正すること。
• グローバル、ローカル、スケルトン表現を統合する、スケーラブルなマルチストリームディープラーニングフレームワークを設計し、WSLR性能の向上を図ること。
• WLASLおよびMS-ASLを含む複数のデータセットにおいて、提案手法の有効性と一般化能力を検証すること。
• ジェスチャーの曖昧さや変動性に起因する主な課題を特定し、より高い識別能力を有する将来のモデルの基盤を築くこと。

提案手法

• 提案されたMSNNフレームワークは、3つの独立したストリームから構成される：ベースストリーム（グローバルな外観とオプティカルフロー）、ローカル画像ストリーム（手および顔領域のクロップ画像）、スケルトンストリーム（3次元ポーズデータに対する時空間グラフ畳み込み）。
• ベースストリームは、フルフレームのRGBおよびオプティカルフロー入力を用いてI3Dにより時空間特徴を抽出する。
• ローカル画像ストリームは、手および顔領域の動画クリップにI3Dを適用し、手の形状や顔の表情といったローカルジェスチャーの詳細を強調する。
• スケルトンストリームは、ST-GCNを用いて体の関節間の位置関係をモデル化し、背景や外観の変動に対して感受性を低減する。
• 各ストリームは独立して訓練され、推論時には3つのストリームの分類スコアを平均化して最終予測を取得する。
• フレームワークはWLASLおよびMS-ASLデータセットで評価され、各ストリームの寄与を検証するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 手および顔の局所的領域画像とスケルトンデータの統合により、グローバルな外観特徴を超えて単語レベルの手話認識が向上するか？
• RQ2 大規模なWSLRデータセット上で、提案されたマルチストリームアーキテクチャは単一ストリームのI3Dベースラインと比較して、トップ1精度でどのように差をつけるか？
• RQ3 ローカル視覚的およびスケルトンストリームは、曖昧または変動するジェスチャーの状況において、どれほど認識性能に寄与しているか？
• RQ4 本手法は、異なるデータセットサイズや語彙スケールに対しても高い性能とスケーラビリティを維持できるか？
• RQ5 モジュラーかつマルチモーダルな設計を有することから、アメリカン・サイン・ランゲージ（ASL）以外の手話に対しても一般化可能か？

主な発見

• 提案されたMSNNは、WLASL100で81.38%、WLASL300で73.43%、WLASL1000で63.61%、WLASL2000で47.26%のトップ1精度を達成し、ベースラインのI3D手法を約15%上回った。
• アブレーションスタディにより、ローカル画像ストリームおよびスケルトンストリームの両方が性能向上に顕著な寄与をしていることが確認され、3ストリーム統合モデルが単一または二重ストリームのいかなる変種よりも優れた性能を示した。
• MS-ASLデータセットでは83.86%のトップ1精度を達成し、本手法のWLASLベンチマークを超えた一般化能力が裏付けられた。
• 性能向上にもかかわらず、語彙サイズの増加に伴い認識精度が著しく低下した（例：WLASL2000で47.26%）、これはクラスあたりのデータ不足が依然として主要な課題であることを示している。
• WLASLの全サブセットで一貫した15%の向上が得られたことから、追加のストリームがデータセットの規模と複雑さに起因する性能劣化を効果的に緩和していることが示された。
• 結果から、類似した動きを示すジェスチャーを区別する上で、ローカルおよび空間的情報が極めて重要であることが確認された。