[論文レビュー] Changing the Representation: Examining Language Representation for Neural Sign Language Production

Harry Walsh, Ben Saunders+1 more|arXiv (Cornell University)|Sep 16, 2022

Hand Gesture Recognition Systems被引用数 9

ひとこと要約

この論文は、言語表現の見直しにより、ニューラルな手話生成を改善する。文の発音的表記であるハムノーサス（HamNoSys）表現を用いたテキストからハムノーサスへの翻訳（T2H）を導入し、文脈的な文の埋め込みにBERTとWord2Vecを活用し、BPEおよびサブワードトークナイゼーションを適用し、ハムノーサスからの手の形の監視を活用する。このアプローチにより、mDGSでBLEU-4スコア26.99、PHOENIX14Tで25.09を達成し、従来の研究を著しく上回る。

ABSTRACT

Neural Sign Language Production (SLP) aims to automatically translate from spoken language sentences to sign language videos. Historically the SLP task has been broken into two steps; Firstly, translating from a spoken language sentence to a gloss sequence and secondly, producing a sign language video given a sequence of glosses. In this paper we apply Natural Language Processing techniques to the first step of the SLP pipeline. We use language models such as BERT and Word2Vec to create better sentence level embeddings, and apply several tokenization techniques, demonstrating how these improve performance on the low resource translation task of Text to Gloss. We introduce Text to HamNoSys (T2H) translation, and show the advantages of using a phonetic representation for sign language translation rather than a sign level gloss representation. Furthermore, we use HamNoSys to extract the hand shape of a sign and use this as additional supervision during training, further increasing the performance on T2H. Assembling best practise, we achieve a BLEU-4 score of 26.99 on the MineDGS dataset and 25.09 on PHOENIX14T, two new state-of-the-art baselines.

研究の動機と目的

• テキストから gloss への翻訳（T2G）のための文レベル表現を向上させることにより、低リソース手話翻訳を改善すること。
• 従来の gloss レベル表現と比較して、発音的表現であるハムノーサス（Text-to-HamNoSys）が、手話翻訳の性能を向上させるかどうかを検証すること。
• 異なるトークナイゼーション戦略（BPE、WordPiece、単語、文字）が、手話翻訳の性能に与える影響を評価すること。
• 事前学習された言語モデル（BERT、Word2Vec）が、低リソース手話翻訳における文脈的な文の埋め込みを向上させるかどうかを検討すること。
• ハムノーサスからの手の形情報を補助的監視として統合し、モデルの性能を向上させること。

提案手法

• 著者らは、手話翻訳のための文脈的文の埋め込みを生成するためにBERTとWord2Vecを適用し、表現品質を向上させる。
• BPE、WordPiece、単語レベル、文字レベルの複数のトークナイゼーション手法を比較し、低リソース手話翻訳に最適なトークナイゼーション戦略を同定する。
• 本稿では、発音的ハンブルク表記法（HamNoSys）を用いて、初期配置、手の形、動作を捉えることのできる、新たなテキストからハムノーサスへの翻訳（T2H）タスクを導入する。
• ハムノーサスから抽出した手の形の情報を、トレーニング中に追加の監視として活用し、アライメントと性能の向上を図る。
• モデルアーキテクチャは、双方向LSTMとアテンション機構を組み合わせ、シーケンス生成にクロスエントロピー損失とスケジュールドサンプリングを用いる。
• フレームワークは、mDGSとPHOENIX14Tという2つのベンチマークデータセット上でトレーニングおよび評価され、主な指標としてBLEU-4が使用される。

実験結果

リサーチクエスチョン

• RQ1 ハムノーサスのような発音的表現を用いることで、gloss レベル表現と比較して、手話翻訳の性能が向上するか？
• RQ2 BPE、WordPiece、単語、文字のうち、どのトークナイゼーション戦略が低リソース手話翻訳において最も優れた性能を発揮するか？
• RQ3 BERT や Word2Vec といった事前学習された言語モデルが、手話翻訳における文レベルの埋め込みを著しく向上させられるか？
• RQ4 ハムノーサスからの手の形情報を補助的監視として統合することで、翻訳品質が向上するか？
• RQ5 最適な言語表現とトークナイゼーションを用いた場合、mDGS および PHOENIX14T で達成可能な最先端の性能はどの程度か？

主な発見

• 提案されたテキストからハムノーサスへの翻訳（T2H）アプローチは、mDGSデータセットでBLEU-4スコア26.99を達成し、新たな最先端のベンチマークを樹立した。
• PHOENIX14Tデータセットでは、BLEU-4スコア25.09を達成し、従来の最先端スコア3.17を著しく上回った。
• BERTとWord2Vecの埋め込みを用いることで、文レベルの表現が向上し、低リソース環境下での翻訳品質が向上した。
• BPEトークナイゼーションは、テストされたトークナイゼーション戦略の中で最も効果的であることが判明し、翻訳タスクの簡素化と一般化の向上に寄与した。
• ハムノーサスからの手の形情報を補助的監視として統合することで、さらに性能向上が達成され、シーケンスモデリングにおける構造的手話特徴の価値が示された。
• 最適なトークナイゼーション、事前学習された埋め込み、およびハムノーサスによる発音的表記の組み合わせにより、mDGSおよびPHOENIX14Tの両方のデータセットで新たな最先端のベースラインが確立された。