[論文レビュー] Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation

Minsu Kim, Jeongsoo Choi+2 more|arXiv (Cornell University)|Aug 3, 2023

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、音声ユニットを共有の離散的表現として用いることで、1つのモデルが多言語音声およびテキスト表現を学習する統合フレームワークであるユニット対ユニット翻訳（UTUT）を提案する。ソース言語およびターゲット言語トークンに条件づけることで、UTUTは多対多の音声対音声翻訳を可能にし、事前学習時に明示的なテキストを必要とせずに、音声対音声合成およびテキスト対音声翻訳へ効果的に転移し、未学習の言語ペア間のゼロショット翻訳を含め、最先端の性能を達成する。

ABSTRACT

This paper proposes a textless training method for many-to-many multilingual speech-to-speech translation that can also benefit the transfer of pre-trained knowledge to text-based systems, text-to-speech synthesis and text-to-speech translation. To this end, we represent multilingual speech with speech units that are the discretized representations of speech features derived from a self-supervised speech model. By treating the speech units as pseudo-text, we can focus on the linguistic content of the speech, which can be easily associated with both speech and text modalities at the phonetic level information. By setting both the inputs and outputs of our learning problem as speech units, we propose to train an encoder-decoder model in a many-to-many spoken language translation setting, namely Unit-to-Unit Translation (UTUT). Specifically, the encoder is conditioned on the source language token to correctly understand the input spoken language, while the decoder is conditioned on the target language token to generate the translated speech in the target language. Therefore, during the training, the model can build the knowledge of how languages are comprehended and how to relate them to different languages. Since speech units can be easily associated from both audio and text by quantization and phonemization respectively, the trained model can easily transferred to text-related tasks, even if it is trained in a textless manner. We demonstrate that the proposed UTUT model can be effectively utilized not only for Speech-to-Speech Translation (S2ST) but also for multilingual Text-to-Speech Synthesis (T2S) and Text-to-Speech Translation (T2ST), requiring only minimal fine-tuning steps on text inputs. By conducting comprehensive experiments encompassing various languages, we validate the efficacy of the proposed method across diverse multilingual tasks.

研究の動機と目的

• 音声の連続的かつ話者依存的な性質の課題を克服し、1つのモデルを用いて音声とテキストの統合的多言語表現を学習すること。
• 1つの事前学習済みモデルを用いて、多様な言語間で多対多の話者言語翻訳を可能にすること。
• 事前学習時にテキストを必要とせずに、TTS や TTST などのテキストベースのタスクへのモデル転移を可能にすること。
• 音声ユニットがエンドツーエンドの多言語処理において、音声とテキストの間の実用的ブリッジとして機能できるかを検討すること。
• UTUTの有効性を、未学習の言語ペア間でのゼロショット翻訳を含む、多様な多言語タスクにおいて検証すること。

提案手法

• 複数の言語の音声が、自己教師付き音声表現（例：HuBERT）の量子化により離散的音声ユニットに変換される。
• モデルは、入力および出力の両方が音声ユニットトークンである、系列対系列のエンコーダ・デコーダアーキテクチャを採用する。
• UTUTの目的関数は、エンコーダをソース言語トークンに条件づけ、デコーダをターゲット言語トークンに条件づけることで、言語間翻訳を可能にする。
• モデルは、音声ユニットのマスクされた予測目的を用いて、多言語音声ユニットデータ上で事前学習され、言語間で音声ユニットの再構成および翻訳を学習する。
• 事前学習後、音声ユニットとテキストの統合表現空間を活用することで、テキスト入力を用いたファインチューニングが可能となり、音声対音声合成およびテキスト対音声翻訳が実現される。
• ユニット空間における共有の多言語表現を活用することで、学習時に見られなかった言語ペア間のゼロショット翻訳がフレームワークで可能になる。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルが、共有の入力フォーマットとしての音声ユニットのみを用いて、音声とテキストの統合的多言語表現を学習できるか？
• RQ2 提案されたUTUTフレームワークが、学習時に見られなかった言語ペアを含む、多様な言語ペア間で多対多の音声対音声翻訳を可能にできるか？
• RQ3 音声ユニットとUTUTの目的関数による事前学習が、事前学習時にテキストを必要とせずに、TTS や TTST などのテキストベースの下流タスクへの効果的転移を可能にするか？
• RQ4 UTUTの性能は、既存の多言語TTSおよびSTSシステムと比較して、特にゼロショット設定においてどうか？
• RQ5 入力マスキングは、自己回帰的言語モデルと同様に、UTUTの事前学習において有益であるか？

主な発見

• UTUTは6言語（En, Es, Fr, It, De, Nl）で平均意見スコア（MOS）4.44を達成し、テキストを事前学習に使用していないにもかかわらず、YourTTS や LAML などの最先端の多言語TTSシステムを上回った。
• テキスト対音声翻訳（TTST）におけるBLEUスコアが、自身の音声対音声翻訳（STS）性能と同等であり、音声モダリティからテキストモダリティへの効果的な転送を確認した。
• UTUTは、学習時に見られなかった言語ペア、特に Pt-Es, Pt-Fr, Pt-It, Pt-De, Pt-Nl 間のゼロショット翻訳を成功させ、強力な多言語一般化能力を示した。
• アブレーションスタディの結果、事前学習時の入力マスキングはUTUTの性能を向上させず、0%マスキングのバージョンが常に他のバージョンを上回った。これは、この設定では再構成よりも言語間アライメントの重要性が高いことを示唆している。
• 文字誤り率（CER）の評価では、テキストから生成された音声のほうが、正解の音声ユニットから再合成された音声よりも識別性が高かった。これは、モデルが生の音声に存在するノイズやアーチファクトを効果的に抑制できることを示している。
• mBARTが8万時間の英語およびスペイン語データで事前学習されているのに対し、UTUTはVoxpopuliデータ上で微調整されたmBARTよりもSTS性能が優れていた。これは、UTUTの事前学習目的の有効性を確認するものである。