[論文レビュー] Multilingual Speech-to-Speech Translation into Multiple Target Languages

Hongyu Gong, Ning Dong+4 more|arXiv (Cornell University)|Jul 17, 2023

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本論文は、言語固有のユニットマスキングを施した音声からマスクドユニット（S2MU）モデルと、言語埋め込みおよび補助的言語識別損失を備えたマルチリンガルボコーダを用いて、複数のターゲット言語をサポートする、初めてのマルチリンガル音声対音声翻訳システムを提示する。この手法は、ドメイン内データではバイリンガルモデル比で平均+5.2 BLEUの向上を達成し、ドメイン外データでは+2.7の向上を示した。16のターゲット言語に英語から翻訳する際の性能向上を確認した。

ABSTRACT

Speech-to-speech translation (S2ST) enables spoken communication between people talking in different languages. Despite a few studies on multilingual S2ST, their focus is the multilinguality on the source side, i.e., the translation from multiple source languages to one target language. We present the first work on multilingual S2ST supporting multiple target languages. Leveraging recent advance in direct S2ST with speech-to-unit and vocoder, we equip these key components with multilingual capability. Speech-to-masked-unit (S2MU) is the multilingual extension of S2U, which applies masking to units which don't belong to the given target language to reduce the language interference. We also propose multilingual vocoder which is trained with language embedding and the auxiliary loss of language identification. On benchmark translation testsets, our proposed multilingual model shows superior performance than bilingual models in the translation from English into $16$ target languages.

研究の動機と目的

• マルチリンガルの音声対音声翻訳を可能にし、複数のターゲット言語をサポートすることを目的とし、従来の研究が複数のソース言語に限定されていたのを、単一のターゲット言語から複数のターゲット言語への拡張を実現する。
• 1つのS2STモデルに複数の言語を統合する際の言語干渉とユニット語彙の拡大という課題に取り組む。
• 言語埋め込みと補助的言語識別損失を備えたマルチリンガルボコーダを導入することで、スケーラビリティと性能を向上させる。
• 特に低リソース言語に恩恵をもたらす、共有マルチリンガルモデリングによる知識の転送を可能にする。

提案手法

• ターゲット言語に属さないユニットに対してマスキングを適用する音声からマスクドユニット（S2MU）モデルを提案し、翻訳中にクロスリンガル干渉を低減する。
• 言語埋め込みと補助的言語識別損失を用いて訓練されたマルチリンガルボコーダを導入し、ターゲット言語間での一般化を向上させる。
• ターゲット音声から離散的ユニットを抽出するために事前学習済みのHuBERTモデルを用い、言語間でユニット辞書を連結してマルチリンガルモデリングを実現する。
• マスクドユニットを用いてエンドツーエンドでS2Uモデルを訓練し、翻訳中に関連する言語固有ユニットに焦点を当てる。
• 2段階の訓練パイプラインを採用：まずマスクドユニットを用いてS2MUを訓練し、次に予測されたユニットと言語識別子を用いてマルチリンガルボコーダを訓練する。
• 評価指標としてASR-BLEUを用い、生成音声を事前学習済みのASRモデルで字幕化し、参照テキストと比較する。

Figure 1: Architecture of multilingual speech-to-speech translation model.

実験結果

リサーチクエスチョン

• RQ1 1つのマルチリンガルモデルが、複数のソース言語に限定されるのではなく、複数のターゲット言語への音声対音声翻訳を効果的にサポートできるか？
• RQ2 共有S2Uモデルに複数言語のユニット語彙を統合する際、言語干渉をどのように軽減できるか？
• RQ3 言語埋め込みと補助的言語識別損失を用いて訓練されたマルチリンガルボコーダは、多様なターゲット言語にわたる音声合成品質と翻訳性能を向上させられるか？
• RQ4 マルチリンガルS2STにおける言語間の知識転送は、特に低リソース環境で性能向上をもたらすか？
• RQ5 モデル容量（例：S2U対Textless）の選択が、言語リソースの可用性と組み合わさって翻訳性能にどのように影響するか？

主な発見

• 提案されたマルチリンガルS2STモデルは、16のターゲット言語においてドメイン内テストセットでバイリンガルS2Uモデルに比べ平均+5.2 BLEUの向上を達成した。
• ドメイン外データでは、バイリンガルベースライン比で平均+2.7 BLEUの向上を示し、ドメインシフトに対して高いロバスト性を示した。
• S2MUモデルにマルチリンガルボコーダを組み合わせたモデルは、バイリンガルTextlessモデルに比べ、ドメイン内とドメイン外の両方でそれぞれ+1.1と+1.6 BLEUの向上を示した。
• マルチリンガルボコーダは、再合成時のWERを低減することで翻訳性能を向上させ、特にen-esのような高リソース方向で顕著な効果を示した（S2MUを用いることでBLEUが+2.0向上）。
• マルチリンガルモデルの性能はS2MU推論品質と強く相関しており、スロバキア語（sk）のように低品質なユニットが原因で、WERは5%低減されたがBLEU向上は限定的であった。
• エストニア語（et）、フィンランド語（fi）、リトアニア語（lt）のような低リソース方向では、すべてのモデルが著しく性能を発揮できず、データ不足が依然として主要な障壁であることが示された。

Figure 2: Architecture of multilingual vocoder.