[論文レビュー] Zero-Shot Sign Language Recognition: Can Textual Data Uncover Sign Languages?

Yunus Can Bilge, Nazlı İkizler-Cinbiş+1 more|arXiv (Cornell University)|Jul 24, 2019

Hand Gesture Recognition Systems参考文献 65被引用数 11

ひとこと要約

本論文は、ゼロショット・サイン言語認識（ZSSLR）を導入し、サイン言語辞書からのテキスト記述を活用して未学習のサインクラスを認識するフレームワークを提案する。身体および手の領域からの時間的・空間的特徴を3次元畳み込みニューラルネットワーク（3D-CNN）と双方向LSTMを用いてモデル化し、視覚的埋め込みとテキスト記述を適合関数によりアライメントすることで、新しいASL-Textベンチマーク上でトップ1正解率20.9%を達成した。これは、テキストデータを用いたゼロショットサイン言語理解の可能性を示している。

ABSTRACT

We introduce the problem of zero-shot sign language recognition (ZSSLR), where the goal is to leverage models learned over the seen sign class examples to recognize the instances of unseen signs. To this end, we propose to utilize the readily available descriptions in sign language dictionaries as an intermediate-level semantic representation for knowledge transfer. We introduce a new benchmark dataset called ASL-Text that consists of 250 sign language classes and their accompanying textual descriptions. Compared to the ZSL datasets in other domains (such as object recognition), our dataset consists of limited number of training examples for a large number of classes, which imposes a significant challenge. We propose a framework that operates over the body and hand regions by means of 3D-CNNs, and models longer temporal relationships via bidirectional LSTMs. By leveraging the descriptive text embeddings along with these spatio-temporal representations within a zero-shot learning framework, we show that textual data can indeed be useful in uncovering sign languages. We anticipate that the introduced approach and the accompanying dataset will provide a basis for further exploration of this new zero-shot learning problem.

研究の動機と目的

• 実世界の展開において一般的な、注釈付きの視覚的学習例が一切ない状況においても、サイン言語クラスを認識する課題に対処すること。
• 利用可能なサイン言語辞書からのテキスト記述が、ゼロショットサイン認識のための有効な意味的事前知識として機能するかを検討すること。
• ZSSLR研究のための新しいベンチマークデータセットであるASL-Textを構築し、250のサインクラスとそれに対応するテキスト定義を含めること。
• 時間的・空間的視覚表現とテキスト埋め込みを統合するエンドツーエンドで学習可能なフレームワークを開発すること。
• 長時間にわたる時間的依存関係をモデル化するための、さまざまなRNNアーキテクチャと特徴統合戦略の有効性を評価すること。

提案手法

• フレームワークは、手および全身の領域に注目して、ビデオクリップからの時間的・空間的特徴を抽出するために3次元畳み込みニューラルネットワーク（3D-CNN）を用いる。
• 視覚シーケンス内の長時間的依存関係をモデル化するために、双方向LSTM（bi-LSTM）ネットワークが適用される。
• Websterアメリカサイン言語辞典からのテキスト記述は、事前学習済みの単語埋め込みを用いて埋め込みられ、サインクラスの意味的表現が形成される。
• 適合関数が学習され、視覚的埋め込みをテキスト埋め込み空間にマップすることで、最近傍探索によるゼロショット予測が可能になる。
• 視覚特徴とそれに対応するテキスト記述をアライメントするため、対照的損失を用いてエンドツーエンドでモデルを学習する。
• 特徴統合は、bi-LSTM層の前に行われ、手とボディストリームの特徴を連結することで、識別能が向上する。

実験結果

リサーチクエスチョン

• RQ1 サイン言語辞書からのテキスト記述が、未学習のサイン言語クラスを認識するための意味的事前知識として効果的に機能するか？
• RQ2 3D-CNN + bi-LSTMアーキテクチャは、ゼロショット認識のためのサイン言語動画の時間的・空間的ダイナミクスをどの程度効果的にモデル化できるか？
• RQ3 手とボディの領域特徴を併用することで、単一モodalの使用に比べてゼロショットサイン認識性能が向上するか？
• RQ4 さまざまなRNNアーキテクチャ（LSTM、GRU、bi-LSTM）は、ゼロショット認識フレームワークの性能にどのように影響するか？
• RQ5 テキスト記述の品質が、ZSSLRモデルの一般化能力にどの程度影響を及えるか？

主な発見

• 提案されたフレームワークは、ASL-Textベンチマーク上でトップ1正規化正解率20.9%、トップ5正規化正解率51.4%を達成し、ランダムベースライン（それぞれ2.0%および10.0%）を顕著に上回った。
• 双方向LSTMの使用が、RNNバリアントの中で最も高い性能を示し、トップ1正解率20.9%、トップ5正解率51.4%を達成した。
• 手とボディの両領域からの特徴を統合することで、単一モダリティに比べて性能が向上し、統合ストリームではトップ1正解率20.9%を達成した。
• 特徴削減にLLE（局所線形埋め込み）を用いた場合、平均プーリングや他のベースラインを上回る性能を示した。
• 誤った予測の多くは、サイン記述間の高い意味的または視覚的類似性に起因しており、より細粒度の表現学習の必要性が示された。
• 本研究では、専門家がアノテートした辞書からのテキストデータが、ゼロショットサイン言語認識のための実用的で効果的な知識源であることが示された。