[論文レビュー] Tackling Low-Resourced Sign Language Translation: UPC at WMT-SLT 22

Laia Tarrés, Gerard I. Gállego+2 more|arXiv (Cornell University)|Dec 2, 2022

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本論文は、WMT-SLT 2022 チャレンジにおいて、スイスドイツ語手話（DSGS）の動画をドイツ語のテキストに翻訳するための Fairseq ベースの Transformer モデルを提示する。語彙サイズ、データ拡張、PHOENIX-14T での事前学習を試行したが、テストセットでは BLEU が 0.50 にとどまり、ベースラインから 0.38 BLEU の改善にとどまる。これは、データ不足とタスクの複雑さのため、極めて低い性能を示している。

ABSTRACT

This paper describes the system developed at the Universitat Politècnica de Catalunya for the Workshop on Machine Translation 2022 Sign Language Translation Task, in particular, for the sign-to-text direction. We use a Transformer model implemented with the Fairseq modeling toolkit. We have experimented with the vocabulary size, data augmentation techniques and pretraining the model with the PHOENIX-14T dataset. Our system obtains 0.50 BLEU score for the test set, improving the organizers' baseline by 0.38 BLEU. We remark the poor results for both the baseline and our system, and thus, the unreliability of our findings.

研究の動機と目的

• 限られた動画およびテキストデータを用いた低リソースな手話翻訳（SLT）の課題に対処すること。
• 語彙サイズ、データ拡張、PHOENIX-14T での事前学習が、低リソース環境下での SLT に与える効果を評価すること。
• 広く使われている自然言語処理ツールキットである Fairseq を用いて、手話動画からテキストへの翻訳のための Transformer モデルを実装・ベンチマークすること。
• FocusNews と SRF データセット間のドメインシフトがモデル性能に与える影響を調査すること。
• トランスファー学習や、グラフベースのポーズモデリングなどの代替入力表現（例：I3D 特徴）が SLT において標準的な 1D キーポイント列よりも優れているかを検討すること。

提案手法

• Fairseq ツールキットを用いて、6層、8ヘッド、2048 のフィードフォワード次元、512 の埋め込みサイズを有する Transformer エンコーダ・デコーダアーキテクチャを実装した。
• 入力として MediaPipe の 3D キーポイント列（x, y, z）を用い、[0,1] に正規化し、立方体補間を用いて 25 fps に再サンプリングした。
• 各データセットごとに語彙を別々に構築した。語彙構築には、文数が多いことから SRF の単語付きドイツ語字幕を用いた。
• SRF データセットにデータ拡張を適用して訓練サンプルを人工的に増加させたが、計算コストの制限により広範な実験は制限された。
• PHOENIX-14T データセットを用いた事前学習を試みたが、性能向上は観察されなかった。
• ポーズグラフ構造のより良いモデリングを図るためのグラフニューラルネットワーク（GNN）アプローチを検討したが、時間的・リソース的制約のため実装は行われなかった。

実験結果

リサーチクエスチョン

• RQ1 語彙サイズの拡大は、低リソース SLT 環境下での翻訳品質向上に寄与するか？
• RQ2 データ拡張技術は、限られたデータでの手話翻訳において、BLEU スコアの顕著な向上をもたらすか？
• RQ3 より大きな関連 SLT データセット（PHOENIX-14T）での事前学習は、WMT-SLT 2022 テストセットでの一般化性能を向上させるか？
• RQ4 ベースラインおよび本研究のシステムの低性能は、主に動画時間と固有語彙数の比が低いことに起因しているか？
• RQ5 I3D 特徴などの RGB 動画からの特徴や、グラフベースのポーズ表現といった代替入力表現が、標準的な 1D キーポイント列を上回る性能を示せるか？

主な発見

• 提案されたシステムはテストセットで BLEU スコア 0.50 を達成し、主催者提供のベースラインから 0.38 BLEU の改善を示した。
• FocusNews のみで学習したベースラインモデルが最も高い性能を示したため、FocusNews と SRF の間にはドメインシフトが存在し、統合学習を妨げている可能性がある。
• 語彙サイズの調整はテスト性能に顕著な影響を及ぼさなかったため、語彙のスケールよりもデータの質や分布のほうが重要である可能性を示唆している。
• チェックポイントの平均化は結果を改善しなかったため、モデルの安定性や最適化ダイナミクスが主なボトルネックではなかったことが示された。
• BLEU スコアがほぼゼロに近い極めて低い水準であることは、モデルが唯一頻出語しか学習できていないことを示しており、手話動画入力からの意味のある翻訳生成に失敗している可能性がある。
• WMT-SLT 2022 データセットにおける動画時間と固有語彙数の比は、0.84～0.90 であり、How2Sign（4.93） や PHOENIX-14T（3.67） といった大規模な SLT ベンチマークと比較して顕著に低いことが判明した。これは、タスクの複雑さが高いためである。