[論文レビュー] Modeling Intensification for Sign Language Generation: A Computational Approach

Mert İnan, Yang Zhong+3 more|arXiv (Cornell University)|Mar 17, 2022

Hand Gesture Recognition Systems被引用数 1

ひとこと要約

本稿では、言語的レベルの強調修飾語を用いて語彙アノテーションを強化することで、手話生成における強調のモデル化をデータ駆動型の計算的手法で提案する。PHOENIX-14Tのサブセットに対して教師あり強調タガーを適用し、著者らは全データセットに強調ラベルを拡張し、プログレッシブトランスフォーマーモデルを微調整した。その結果、自動評価指標が向上し、生成された手話動画のプロソディーの正確性が高まり、人間の好みも向上した。

ABSTRACT

End-to-end sign language generation models do not accurately represent the prosody in sign language. A lack of temporal and spatial variations leads to poor-quality generated presentations that confuse human interpreters. In this paper, we aim to improve the prosody in generated sign languages by modeling intensification in a data-driven manner. We present different strategies grounded in linguistics of sign language that inform how intensity modifiers can be represented in gloss annotations. To employ our strategies, we first annotate a subset of the benchmark PHOENIX-14T, a German Sign Language dataset, with different levels of intensification. We then use a supervised intensity tagger to extend the annotated dataset and obtain labels for the remaining portion of it. This enhanced dataset is then used to train state-of-the-art transformer models for sign language generation. We find that our efforts in intensification modeling yield better results when evaluated with automatic metrics. Human evaluation also indicates a higher preference of the videos generated using our model.

研究の動機と目的

• エンドツーエンドの手話生成モデルにおけるプロソディックな変動の欠如、特に強調修飾語の表現に関する課題に対処すること。
• 『非常に』や『少し』などの強調モディファイアを語彙アノテーションに組み込む、言語学的根拠に基づく戦略を同定すること。
• PHOENIX-14Tデータセットのアノテーションされていない部分にまで強調ラベルを拡張できる教師あり強調タガーを開発すること。
• 強調を強化した語彙を、最先端のトランスフォーマーモデルに統合し、より優れた手話動画生成を実現すること。
• 強調モデリングの自動評価指標および生成された手話動画の人の評価への影響を評価すること。

提案手法

• 手話のプロソディーに関する言語学的および認知科学的原則に基づき、PHOENIX-14Tのサブセットを強調レベル（例：低、中、高）でアノテートする。
• アノテートされたサブセットを用いて教師あり強調タガーを訓練し、データセットの残りの未アノテート語彙の強調レベルを予測する。
• 語彙に強調タグを付加することで、全PHOENIX-14Tデータセットを強化し、新たな豊富な学習リソースを構築する。
• 強調タグを入力コンテキストとして組み込むことにより、強化されたデータセットを用いてプログレッシブトランスフォーマーモデル（PT）を微調整する。
• 入力語彙の強調レベルに応じて生成された手話ポーズを動的に選択する、新規のダイナミックポーズ選択メカニズムを提案する。
• 自動評価指標（BLEU、METEOR、ROUGE、CIDER）と動画品質および強調表現に関する人間評価を用いて、モデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして言語学的原則を用いて、手話における強調修飾語を語彙アノテーションに体系的かつ正確にモデル化・表現できるか？
• RQ2 語彙に強調タグを追加することで、手話生成における自動評価指標にどの程度の向上が見られるか？
• RQ3 強調のモデリングは、人間評価者にとってより良いと感じられる手話動画を生成するのか？
• RQ4 強調に配慮したモデルは、ベースラインモデルと比較して、生成された手話動画における意味的強調をどの程度正確に保持できるか？
• RQ5 n-gramベースの評価指標は、手話生成における強調表現の評価において、どのような失敗モードを示すか？

主な発見

• 強化されたモデルは、『強調を含む』テストセットにおいて、すべての4つの自動評価指標（BLEU、METEOR、ROUGE、CIDER）で100%を達成したのに対し、ベースラインでは55.7–81.9%であった。
• 人間評価では、強調を強化したモデルで生成された動画に対する好みが顕著に高く、より優れた知覚的品質とプロソディーが得られた。
• 定性的分析では、モデルが30%のケースで強調修飾語を正しく表現しており、意味的強調の保持においてベースラインを上回った。
• 改善は見られたが、23%のケースでは自動評価指標がより良い強調表現を報酬としていないことが判明し、指標の限界が浮き彫りになった。
• モデルは3%のケースで強調修飾語を誤って生成（ホールーリング）する傾向があり、強調タギングにおける過剰生成のリスクを示唆した。
• 本研究は、言語学的根拠に基づく強調モデリングが、定量的および定性的な両面で手話生成の成果を顕著に向上させることを示した。