[論文レビュー] Lexicon-Free Fingerspelling Recognition from Video: Data, Models, and Signer Adaptation

Tae-Hwan Kim, Jonathan Keane+6 more|arXiv (Cornell University)|Sep 26, 2016

Hand Gesture Recognition Systems参考文献 65被引用数 3

ひとこと要約

本論文は、新しいマルチ・シナービデオデータセットとディープラーニングベースのモデルを用いて、米国手話（ASL）の語彙フリーな指文字認識システムを提示する。DNN特徴量を用いたセグメンタル条件付きランダムフィールド（CRF）を採用し、シナーリング依存設定では92%、マルチ・シナーリング設定ではニューラル適応を用いて83%の正確性を達成し、シナーリングや録画条件のばらつきに対しても耐障害性の高い認識を実現した。

ABSTRACT

We study the problem of recognizing video sequences of fingerspelled letters in American Sign Language (ASL). Fingerspelling comprises a significant but relatively understudied part of ASL. Recognizing fingerspelling is challenging for a number of reasons: It involves quick, small motions that are often highly coarticulated; it exhibits significant variation between signers; and there has been a dearth of continuous fingerspelling data collected. In this work we collect and annotate a new data set of continuous fingerspelling videos, compare several types of recognizers, and explore the problem of signer variation. Our best-performing models are segmental (semi-Markov) conditional random fields using deep neural network-based features. In the signer-dependent setting, our recognizers achieve up to about 92% letter accuracy. The multi-signer setting is much more challenging, but with neural network adaptation we achieve up to 83% letter accuracies in this setting.

研究の動機と目的

• 複数のシナーリングで顕著な変動が生じる連続的指文字認識の課題に対処すること。
• 耐障害性の高い認識研究を支援するため、新しい大規模マルチ・シナーリング連続指文字動画データセットを収集・アノテーションすること。
• シナーリングのスタイルの違いや動画条件のばらつきにもかかわらず、一般化可能なディープラーニングベースのモデルを開発・評価すること。
• シナーリング依存モデルを超えて、マルチ・シナーリング認識の性能を向上させる有効な適応技術を調査すること。

提案手法

• 著者らは、真値のセグメンテーションとピーク手形アノテーションを備えた、新しいマルチ・シナーリング連続指文字動画データセットを収集・アノテーションした。
• 動画フレームから抽出した深層ニューラルネットワーク（DNN）特徴量を用いて、手形と運動ダイナミクスを表現した。
• 文字列の認識に向け、シーケンスモデリングフレームワークとしてセグメンタル（準マルコフ）条件付きランダムフィールド（CRF）を採用した。
• マルチ・シナーリング設定における一般化性能を向上させるために、ニューラルネットワークの適応技術を適用した。これにより、シナーリング依存からマルチ・シナーリングへの性能低下が軽減された。
• 指文字を離散的でない手形としてモデル化し、発音的特徴を用いて表現した。認識のターゲットとしてピーク手形フレームを用いた。
• 複数のシナーリングにわたる一貫性のある手形記述を可能にするために、関節角度（MCP、PIP）に基づく発音的特徴表現を定義した。

実験結果

リサーチクエスチョン

• RQ1 連続動画データを用いた語彙フリーな指文字認識の性能は、シナーリング依存設定とマルチ・シナーリング設定でそれぞれどのように評価されるか？
• RQ2 HMMと比較して、CRFなどの異なるシーケンスモデリングアーキテクチャは、連続的指文字列認識においてどのように性能を発揮するか？
• RQ3 シナーリング依存モデルと比較して、ニューラルネットワークの適応技術は、マルチ・シナーリング認識における性能劣化をどの程度軽減できるか？
• RQ4 DNNベースの特徴量は、連続的指文字における微細な共articulation（共鳴）的動きのダイナミクスをどれほど的確に捉えられるか？
• RQ5 高品質でマルチ・シナーリングの動画アノテーションは、認識正確性とモデルの一般化性能の向上にどの程度寄与するか？

主な発見

• シナーリング依存設定では、DNN特徴量を用いたセグメンタルCRFが最も高い性能を示し、92%の文字正確性を達成した。
• より困難なマルチ・シナーリング設定では、ニューラルネットワークの適応技術により、認識正確性が最大83%まで向上した。
• セグメンタルCRFの使用は、HMMなどの単純なモデルを著しく上回り、特に文字間の共鳴的遷移の処理において優れた性能を発揮した。
• DNNベースの特徴量は、微細な手形ダイナミクスを捉える上で不可欠であり、複数のシナーリングにわたる耐障害性の向上に寄与した。
• ピーク手形ラベル付けと発音的特徴定義を含む提案されたアノテーションスキームにより、一貫性があり信頼性の高いモデルのトレーニングと評価が可能になった。
• 新しいデータセットは、スピークデータに比べて規模が小さいが、閉形式語彙に制限されない、既知で最大のマルチ・シナーリング連続指文字動画データセットである。