[論文レビュー] Translatotron 3: Speech to Speech Translation with Monolingual Data

Eliya Nachmani, Alon Levkovitch+4 more|arXiv (Cornell University)|May 27, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

Translatotron 3 は、マスクされた自己符号化、多言語非教師あり埋め込みマッピング（MUSE）、およびバックトランスレーションを活用して、双方向語彙データを必要としない完全な非教師ありエンドツーエンド音声対音声翻訳モデルを提案する。このモデルは、カスケードベースラインに対して18.14 BLEUの向上を達成し、ペairedバイリンガルデータを必要とせずに、話者アイデンティティや発話速度などの副言語的・非言語的特徴を保持する。

ABSTRACT

This paper presents Translatotron 3, a novel approach to unsupervised direct speech-to-speech translation from monolingual speech-text datasets by combining masked autoencoder, unsupervised embedding mapping, and back-translation. Experimental results in speech-to-speech translation tasks between Spanish and English show that Translatotron 3 outperforms a baseline cascade system, reporting $18.14$ BLEU points improvement on the synthesized Unpaired-Conversational dataset. In contrast to supervised approaches that necessitate real paired data, or specialized modeling to replicate para-/non-linguistic information such as pauses, speaking rates, and speaker identity, Translatotron 3 showcases its capability to retain it. Audio samples can be found at http://google-research.github.io/lingvo-lab/translatotron3

研究の動機と目的

• ペアドバイリンガル音声データを一切必要としないエンドツーエンドの非教師あり音声対音声翻訳システムの開発。
• 翻訳中に、発話速度、間aki、話者アイデンティティなどの副言語的・非言語的特徴を明示的な教師信号なしに保持すること。
• 非教師ありカスケードベースラインを上回り、モノリンガルデータセットのみを用いて教師ありS2STモデルに近づくパフォーマンスを向上させること。
• マスクされた自己符号化、非教師あり埋め込みマッピング、バックトランスレーションを統合した訓練フレームワークにおける有効性を示すこと。

提案手法

• モデルは共有エンコーダーと2つのデコーダー（1言語ずつ）を用い、2段階の訓練プロセスを経る：最初にSpecAugmentを用いたマスクされた自己符号化として訓練し、次にバックトランスレーションによる訓練を行う。
• 平行データが存在しない状況でも、クロスリンガル表現を整列させるために、非教師あり多言語埋め込みマッピング（MUSE）を採用する。
• 自己符号化（段階1）とバックトランスレーション（段階2）の両方で再構成損失を適用し、言語間の一貫性を強制する。
• 訓練目的関数は、エンコーダー出力におけるMUSE損失、マスクされた自己符号化からの再構成損失、および言語間整列のためのバックトランスレーション損失を統合する。
• 訓練は、ペアドバイリンガル発話が一切不要なモノリンガル音声およびテキストデータセットに限定して実施される。
• 推論時、共有エンコーダーが入力音声を多言語埋め込み空間に変換し、その結果をターゲット言語固有のデコーダーが復元する。

実験結果

リサーチクエスチョン

• RQ1 完全な非教師ありエンドツーエンドS2STモデルは、バイリンガル音声ペアが一切ない状況でも、競争力のあるパフォーマンスを達成できるか？
• RQ2 話者アイデンティティや発話速度といった副言語的・非言語的特徴は、明示的な教師信号なしにどの程度保持できるか？
• RQ3 マスクされた自己符号化、MUSEベースの埋め込みマッピング、およびバックトランスレーションは、非教師ありS2STパフォーマンスにどのように寄与するか？
• RQ4 提案手法は、非教師ありカスケードベースラインを上回り、BLEUと自然さの観点で教師ありS2STシステムに近づけるか？

主な発見

• 合成された非ペアド会話（UC）データセットにおいて、Translatotron 3 はカスケードベースラインに対して18.14 BLEUポイントの向上を達成した。
• CVSSデータセットでは、スペイン語から英語への翻訳で24.27 BLEUを達成し、教師ありモデルとの差はわずか1.95 BLEUポイントにまで縮小した。
• UCデータセットでは、話者アイデンティティの類似度スコアが0.62を記録し、ランダムな話者ベースライン（0.16）を著しく上回った。
• 実際の音声データでは、話者類似度スコアが0.34であったため、話者特性の強力な保持が示された。
• アブレーションスタディの結果、再構成損失とバックトランスレーション損失がパフォーマンス向上に最も寄与しており、MUSE損失とSpecAugmentも顕著な向上をもたらした。
• プロジェクトウェブサイトの定性的分析から、間akiや発話速度の保持が堅実に行われていることが裏付けられた。