[論文レビュー] Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation

Necati Cihan Camgöz, Oscar Koller+2 more|arXiv (Cornell University)|Mar 30, 2020

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本稿では、CTC損失による語彙レベルの監視を用いたトランスフォーマー基盤モデルを用いて、連続的シグナリング言語認識（CSLR）とシグナリング言語翻訳（SLT）を同時に実行する、統合的エンドツーエンドアーキテクチャ「Sign Language Transformers」を提案する。この手法はPHOENIX14 Tデータセットにおいて最先端の結果を達成し、一部のケースではBLEU-4スコアが2倍以上に上昇（21.80 vs. 9.58）し、中間の語彙アノテーションを介さずに動画表現から直接翻訳することで、テキスト対テキスト翻訳ベースラインでさえも上回った。

ABSTRACT

Prior work on Sign Language Translation has shown that having a mid-level sign gloss representation (effectively recognizing the individual signs) improves the translation performance drastically. In fact, the current state-of-the-art in translation requires gloss level tokenization in order to work. We introduce a novel transformer based architecture that jointly learns Continuous Sign Language Recognition and Translation while being trainable in an end-to-end manner. This is achieved by using a Connectionist Temporal Classification (CTC) loss to bind the recognition and translation problems into a single unified architecture. This joint approach does not require any ground-truth timing information, simultaneously solving two co-dependant sequence-to-sequence learning problems and leads to significant performance gains. We evaluate the recognition and translation performances of our approaches on the challenging RWTH-PHOENIX-Weather-2014T (PHOENIX14T) dataset. We report state-of-the-art sign language recognition and translation results achieved by our Sign Language Transformers. Our translation networks outperform both sign video to spoken language and gloss to spoken language translation models, in some cases more than doubling the performance (9.58 vs. 21.80 BLEU-4 Score). We also share new baseline translation results using transformer networks for several other text-to-text sign language translation tasks.

研究の動機と目的

• 中間の語彙アノテーションをボトルネックとせずに、シグナリング言語認識と翻訳のための統合的エンドツーエンド学習に挑戦すること。
• 統一されたトランスフォーマー・アーキテクチャ内でCTC損失による認識の監視を活用することで、翻訳性能を向上させること。
• 明示的な語彙トークン化や分離された認識ステージを不要とし、直接的な動画から音声への翻訳を可能とすること。
• 統合的トレーニングが同時に認識と翻訳の両性能を向上させることを示すこと。
• 複数のデータセットでトランスフォーマー・モデルを用いて、シグナリング言語翻訳のための新しい最先端のベースラインを確立すること。

提案手法

• シグナリング動画シーケンスを処理し、話言語への翻訳を生成するトランスフォーマー基盤のエンコーダ・デコーダアーキテクチャを用いる。
• エンコーダに接続主義的時系列分類（CTC）損失を適用し、真値のタイミングアノテーションを必要とせずに語彙レベルの監視を提供する。
• 1つのエンドツーエンドトレーニングプロセス内で、シグナリング言語認識と翻訳の両方を同時に最適化する。
• 空間的特徴は3D CNNバックボーンで抽出され、時系列モデリングはトランスフォーマーのエンコーダーとデコーダーで処理される。
• 一般向けのImageNetベースの特徴とは異なり、シグナリングデータで事前学習された特徴を用いることで、表現学習を向上させる。
• デコーダーは自己回帰的生成により、符号化されたシグナリング特徴に条件付けられた形で、トークンごとに話言語出力を生成する。

実験結果

リサーチクエスチョン

• RQ1 中間の語彙アノテーションを必要とせず、統一されたトランスフォーマー・アーキテクチャがエンドツーエンドでシグナリング言語認識と翻訳を同時に学習できるか？
• RQ2 トランスフォーマーのエンコーダーにCTC損失を組み込むことで、認識と翻訳の両性能が向上するか？
• RQ3 中間の語彙表現に依存する従来のテキスト対テキスト翻訳ベースラインよりも、直接的な動画から音声への翻訳が優れた性能を発揮できるか？
• RQ4 一般向けのImageNet特徴と比較して、シグナリング固有のデータで事前学習された特徴は、シグナリング言語表現学習をどの程度向上させるか？
• RQ5 認識と翻訳の統合的学習が、両タスクの性能向上にどの程度寄与するか？

主な発見

• 提案されたSign Language Transformersは、PHOENIX14 Tデータセットで最先端の性能を達成し、BLEU-4スコア21.80を記録。これにより、従来手法（例：9.58 BLEU-4）を著しく上回った。
• 中間の語彙表現に依存する従来のテキスト対テキスト翻訳ベースラインを、シグナリング動画から直接話言語への翻訳を実現することで上回った。
• 認識と翻訳の統合的トレーニングにより、両タスクの性能向上が見られ、2つの問題の相乗的依存関係を示した。
• 一般向けのImageNetベースの特徴とは異なり、シグナリング固有のデータで事前学習された特徴は、認識と翻訳の両精度を向上させた。
• 複雑な文法構造に対しても良好に一般化し、固有名や数値表現の処理の難しさにもかかわらず、文法的に正しいかつ意味的に正確な翻訳を生成した。
• アブレーションスタディにより、CTC監視が認識品質を著しく向上させ、それが翻訳性能の向上に寄与することが確認された。