[論文レビュー] Transferring Cross-domain Knowledge for Video Sign Language Recognition

Dongxu Li, Xin Yu+3 more|arXiv (Cornell University)|Mar 8, 2020

Hand Gesture Recognition Systems参考文献 38被引用数 19

ひとこと要約

本稿では、弱いラベルが付与された字幕付きの手話ニュース動画を活用することで、語レベルの手話認識（WSLR）を向上させるクロスドメイン知識移行手法を提案する。共同分類器による埋め込み空間における粗いドメイン整合化と、ドメイン不変特徴量を学習するプロトタイプメモリの活用により、特徴表現が向上し、SOTA性能を達成した。WLASLでは12%の精度向上、自動的でない手話単語の局所化では28.1 AP@0.5を達成した。

ABSTRACT

Word-level sign language recognition (WSLR) is a fundamental task in sign language interpretation. It requires models to recognize isolated sign words from videos. However, annotating WSLR data needs expert knowledge, thus limiting WSLR dataset acquisition. On the contrary, there are abundant subtitled sign news videos on the internet. Since these videos have no word-level annotation and exhibit a large domain gap from isolated signs, they cannot be directly used for training WSLR models. We observe that despite the existence of a large domain gap, isolated and news signs share the same visual concepts, such as hand gestures and body movements. Motivated by this observation, we propose a novel method that learns domain-invariant visual concepts and fertilizes WSLR models by transferring knowledge of subtitled news sign to them. To this end, we extract news signs using a base WSLR model, and then design a classifier jointly trained on news and isolated signs to coarsely align these two domain features. In order to learn domain-invariant features within each class and suppress domain-specific features, our method further resorts to an external memory to store the class centroids of the aligned news signs. We then design a temporal attention based on the learnt descriptor to improve recognition performance. Experimental results on standard WSLR datasets show that our method outperforms previous state-of-the-art methods significantly. We also demonstrate the effectiveness of our method on automatically localizing signs from sign news, achieving 28.1 for AP@0.5.

研究の動機と目的

• 専門家によるアノテーションコストが高いため、語レベルの手話認識（WSLR）データセットの不足がモデル性能を制限する問題に対処すること。
• ドメインギャップとノイズの多いアノテーションのため、活用が不十分であるが豊富に存在する弱いラベルが付与された字幕付き手話ニュース動画を活用すること。
• ニュース手話動画から孤立した手話認識モデルへ知識を移行することで、WSLR認識精度を向上させること。
• 弱い教師あり学習を用いて、文における手話単語の自動的時間的局所化を可能にすること。

提案手法

• スライディングウィンドウ推論を用いて、ベースのWSLRモデルがニュース動画から手話単語を抽出する。
• 孤立した手話とニュース手話の特徴量の両方を用いて共同分類器を訓練し、埋め込み空間における2つのドメインの粗い整合化を図る。
• 粗く整合化されたニュース手話特徴量のクラス重心を格納するプロトタイプメモリを用いて、ドメイン不変特徴量を学習する。
• 各孤立手話に対して、メモリプロトタイプとの相関を計算し、類似する特徴量を統合してドメイン不変特徴量を形成する。
• メモリ拡張型時間的アテンションモジュールが、クラス固有の視覚的特徴量を強調するとともに、クラス間共通のジェスチャーを抑制する。
• 最終的なモデルは、こうした洗練された特徴量を用いて分類を改善し、クロスエントロピー損失を用いたエンドツーエンドの訓練を実行する。

実験結果

リサーチクエスチョン

• RQ1 ドメインギャップがあるにもかかわらず、ウェブ上で入手可能な弱いラベルが付与された手話ニュース動画を効果的に活用してWSLR性能を向上させることは可能か？
• RQ2 視覚的コンセプトが共通するが、ジェスチャー速度やアノテーション品質に差がある孤立手話とニュース手話から、ドメイン不変特徴量をどのように学習できるか？
• RQ3 プロトタイプメモリを通じてニュース手話プロトタイプの知識を統合することで、認識精度と局所化性能が向上するか？
• RQ4 本手法は、強力なアノテーションを必要とせず、標準的なWSLRベンチマークでSOTAの結果を達成できるか？

主な発見

• 提案手法は、SOTA手法と比較してWLASLデータセットにおけるトップ-1精度を12%絶対的に向上させた。
• MSASLデータセットでは、前回のSOTAモデルと比較して認識精度が6%向上した。
• 文における自動的でない手話単語局所化では28.1 mAP@0.5を達成し、弱教師あり時間的局所化において優れた性能を示した。
• アブレーションスタディの結果、粗いドメイン整合化とプロトタイプメモリにおけるニュース手話プロトタイプの使用が、性能向上に不可欠であることが確認された。
• 孤立手話プロトタイプのみを用いる、または両ドメインの特徴量を平均化する手法では、最適でないクラスタリングとノイズの多い重心のため、性能が低下した。