[論文レビュー] M3ST: Mix at Three Levels for Speech Translation

Xuxin Cheng, Qianqian Dong+4 more|arXiv (Cornell University)|Dec 7, 2022

Natural Language Processing Techniques被引用数 14

ひとこと要約

この論文では、Mixupスタイルの手法を用いて単語、文、フレームの3レベルで訓練データを混合する、エンドツーエンド音声翻訳のための新しいデータ拡張手法M³STを提案する。2段階のファインチューニングと、Jensen-Shannon発散正則化を組み合わせることで、MuST-CベンチマークでSOTA性能を達成し、8方向の平均BLEUが29.9に達する。一部のケースでは外部MTデータを用いたモデルを上回ることすらある。

ABSTRACT

How to solve the data scarcity problem for end-to-end speech-to-text translation (ST)? It's well known that data augmentation is an efficient method to improve performance for many tasks by enlarging the dataset. In this paper, we propose Mix at three levels for Speech Translation (M^3ST) method to increase the diversity of the augmented training corpus. Specifically, we conduct two phases of fine-tuning based on a pre-trained model using external machine translation (MT) data. In the first stage of fine-tuning, we mix the training corpus at three levels, including word level, sentence level and frame level, and fine-tune the entire model with mixed data. At the second stage of fine-tuning, we take both original speech sequences and original text sequences in parallel into the model to fine-tune the network, and use Jensen-Shannon divergence to regularize their outputs. Experiments on MuST-C speech translation benchmark and analysis show that M^3ST outperforms current strong baselines and achieves state-of-the-art results on eight directions with an average BLEU of 29.9.

研究の動機と目的

• エンドツーエンド音声翻訳におけるデータ不足の問題に取り組む。これは、限定的な並列音声-発話-翻訳データによりモデル性能が制限されるためである。
• 多様な訓練例を導入することで、一般化性能とロバストネスを向上させる。
• 限定的な音声翻訳データと併せて、外部機械翻訳（MT）データを効果的に活用する。
• 異なるレベル（単語、文、フレーム）での混合がモデル性能に与える影響を調査する。
• 複数のレベルでの混合を組み合わせることで、単一レベルの拡張よりも優れた性能が得られることを示す。

提案手法

• 2段階のファインチューニングを実行する。まず、混合比λ=0.4を用いたMixupスタイルのアプローチで、単語、文、フレームの3レベルで訓練データを混合する。
• 単語レベルでは、発話のトランスクリプション内の名詞を意味的に類似した語に置き換え、対応する音声および翻訳セグメントを一致させた上で置き換える。
• 文レベルでは、異なる発話者からの2つの文を連結し、それぞれの音声および翻訳ペアを保持する。
• フレームレベルでは、2つの音声特徴シーケンスを重みλで線形結合し、対応するターゲットシーケンスを用いて重み付き平均交差エントロピー損失を計算する。
• 2段階目では、元の音声および発話シーケンスを同時にモデルに入力し、2つのブランチの出力分布をJensen-Shannon発散で正則化する。
• モデルは音声特徴に事前学習済みHubertエンコーダーを用い、翻訳用にTransformerベースのエンコーダーとデコーダーを搭載し、Adamを用いて早期停止を伴うファインチューニングを実行する。

実験結果

リサーチクエスチョン

• RQ1 単一レベルの拡張と比較して、単語・文・フレームの3レベルでの混合がエンドツーエンド音声翻訳性能を向上させるか？
• RQ2 各混合レベル（単語、文、フレーム）が全体の性能向上に果たす相対的寄与度は何か？
• RQ3 特にネットワークの初期層でフレームレベルでの混合を実施することで、モデルのロバストネスおよび一般化性能が向上するか？
• RQ4 外部MTデータの使用と多段階混合の組み合わせが性能向上に与える影響は何か？
• RQ5 JS発散正則化を用いた2段階のファインチューニング戦略により、出力の一貫性やアライメントが向上するか？

主な発見

• M³STはMuST-Cベンチマークで8方向の平均BLEUが29.9に達し、新たなSOTAスコアを記録した。
• 外部MTデータを一切使用しない状況でも、前回の最良モデル比で0.6 BLEU向上を達成し、多段階混合の有効性を示した。
• 外部MTデータを併用した場合、前回のSOTA比で平均0.5 BLEU高い性能を達成し、データ拡張と外部データの相乗効果が明確に示された。
• アブレーションスタディの結果、フレームレベルの混合が最も寄与しており、削除すると0.5 BLEU低下するなど、ロバストネス向上における中心的役割を果たしていることが判明した。
• 入力埋め込み層（レイヤー0）での混合が最も高い性能を示し、初期段階での音声特徴の統合が表現学習を強化することを示唆している。
• 多様な言語対、特に低リソース言語対に対してもロバストであり、全評価設定で一貫した向上効果を維持している。