[論文レビュー] A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation

Yutong Chen, Fangyun Wei+3 more|arXiv (Cornell University)|Mar 8, 2022

Hand Gesture Recognition Systems被引用数 14

ひとこと要約

本論文は、一般ドメインデータ上で段階的に事前学習を行い、その後シグナリング言語データセットで微調整する、シンプルだが効果的なマルチモodalな転移学習ベースラインを提案する。視覚的・言語的ネットワークを段階的に事前学習し、シグニフィアント・トゥ・グロスおよびグロス・トゥ・テキストのコンポーネントを接続する視覚言語マッパーを用いることで、PHOENIX-2014TおよびCSL-DailyでSOTA性能を達成した。BLEU-4スコアはそれぞれ26.75および45.62であり、並列データが限られているにもかかわらず高い性能を示した。

ABSTRACT

This paper proposes a simple transfer learning baseline for sign language translation. Existing sign language datasets (e.g. PHOENIX-2014T, CSL-Daily) contain only about 10K-20K pairs of sign videos, gloss annotations and texts, which are an order of magnitude smaller than typical parallel data for training spoken language translation models. Data is thus a bottleneck for training effective sign language translation models. To mitigate this problem, we propose to progressively pretrain the model from general-domain datasets that include a large amount of external supervision to within-domain datasets. Concretely, we pretrain the sign-to-gloss visual network on the general domain of human actions and the within-domain of a sign-to-gloss dataset, and pretrain the gloss-to-text translation network on the general domain of a multilingual corpus and the within-domain of a gloss-to-text corpus. The joint model is fine-tuned with an additional module named the visual-language mapper that connects the two networks. This simple baseline surpasses the previous state-of-the-art results on two sign language translation benchmarks, demonstrating the effectiveness of transfer learning. With its simplicity and strong performance, this approach can serve as a solid baseline for future research. Code and models are available at: https://github.com/FangyunWei/SLRT.

研究の動機と目的

• シグナリング言語翻訳におけるデータ不足のボトルネックに対処する。既存のデータセットには10K～20Kの並列例しかなく、通常のニューラル機械翻訳モデルと比べて著しく少ない。
• 視覚および多言語NLP分野のスケールの大きな一般ドメインデータセットからの転移学習を活用することで、シグナリング言語翻訳の性能を向上させる。
• シグニフィアント・トゥ・グロスおよびグロス・トゥ・テキストのタスクを分離して事前学習し、その後視覚言語マッパーを介して共同微調整することで、クロスモーダルな整合性を向上させる。
• 標準ベンチマークで先行SOTA手法を上回る、強力でシンプルなベースラインを確立する。

提案手法

• シグニフィアント・トゥ・グロスネットワークを、一般ドメインの人体行動データセット（例：Kinetics）で事前学習した後、ドメイン内シグナリング言語データセットで微調整する。
• mBART（大規模な多言語コーパスで事前学習された修復型オートエンコーダ）を用いてグロス・トゥ・テキストネットワークを事前学習し、その後グロス・トゥ・テキストの並列データで微調整する。
• シグニフィアント・トゥ・グロスおよびグロス・トゥ・テキストネットワークを接続する視覚言語マッパー（V-Lマッパー）を導入し、共同最適化とクロスモーダル特徴の整合性を実現する。
• 2段階パイプラインを採用する：まずシグナリング動画からグロス系列を予測し、次にそれをターゲット言語のテキストに翻訳する。
• 段階的微調整を適用する：まず各モダリティを別々に事前学習し、その後V-Lマッパーを含めた全体モデルを共同で微調整する。
• 大規模な並列シグナリング言語データに依存するのを減らすために、一般ドメインデータからの外部監視を活用する。

実験結果

リサーチクエスチョン

• RQ1 一般ドメインの視覚および多言語データに対する段階的事前学習が、並列データが限られているにもかかわらず、シグナリング言語翻訳性能を向上させられるか？
• RQ2 エンドツーエンド学習と比較して、シグニフィアント・トゥ・グロスおよびグロス・トゥ・テキストコンポーネントの分離事前学習・微調整戦略はどの程度効果的か？
• RQ3 視覚言語マッパーは、シグナリング言語翻訳におけるクロスモーダル整合性および翻訳品質をどの程度向上させるか？
• RQ4 シンプルな転移学習ベースラインは、より複雑なアーキテクチャーよりも標準的なシグナリング言語翻訳ベンチマークで優れた性能を示せるか？
• RQ5 モデルの失敗モードは何か。特に、数字や場所を表す語などのレアエンティティに関しては？

主な発見

• 提案手法はPHOENIX-2014TのテストセットでBLEU-4スコア26.75を達成し、以前のSOTA（24.32）を上回った。
• CSL-Dailyベンチマークでは、BLEU-4スコア45.62を達成し、新たなSOTA性能を樹立した。
• V-Lマッパーを介して視覚的および言語的信号を統合することで、顔の表情や非手部的特徴（non-manual features）の処理において、より高いロバスト性を示した。
• 定性的な分析から、グロスのみのパイプラインで失われるような意味的ニュアンス（例：副詞的強調「非常に」）を正しく捉えていることがわかった。
• 失敗事例では、訓練データに存在する頻度が低いエンティティ（例：数字や場所を表す語）の認識に困難を示した。
• アブレーションスタディにより、一般ドメインデータに対する段階的事前学習が性能向上に顕著に寄与することが確認され、転移学習戦略の有効性が裏付けられた。