[論文レビュー] PolyVoice: Language Models for Speech to Speech Translation

Qianqian Dong, Zhiying Huang+16 more|arXiv (Cornell University)|Jun 5, 2023

Speech Recognition and Synthesis被引用数 5

ひとこと要約

PolyVoiceは、自己教師付きモデルから得られる非教師あり離散的意味的単位を用いて、音声対音声翻訳のための新規な言語モデルベースのフレームワークを提案する。このフレームワークは、音声を保全する合成を可能にする単位ベース音声言語モデルと、デコーダーのみの翻訳言語モデルを組み合わせる。翻訳精度と音声品質の両面で最先端の性能を達成しており、翻訳言語のテキスト監督が不要な未記録言語に対しても有効である。

ABSTRACT

We propose PolyVoice, a language model-based framework for speech-to-speech translation (S2ST) system. Our framework consists of two language models: a translation language model and a speech synthesis language model. We use discretized speech units, which are generated in a fully unsupervised way, and thus our framework can be used for unwritten languages. For the speech synthesis part, we adopt the existing VALL-E X approach and build a unit-based audio language model. This grants our framework the ability to preserve the voice characteristics and the speaking style of the original speech. We examine our system on Chinese $ ightarrow$ English and English $ ightarrow$ Spanish pairs. Experimental results show that our system can generate speech with high translation quality and audio quality. Speech samples are available at https://speechtranslation.github.io/polyvoice.

研究の動機と目的

• 逐次パイプラインを回避し、翻訳言語の音声データのトランスクリプトに依存しない、直接的かつエンドツーエンドの音声対音声翻訳システムの開発。
• 自己教師付きモデルから得られる完全に非教師ありの離散的音声単位を用いて、未記録言語の翻訳を可能にする。
• 単位ベース音声言語モデルを用いて、合成音声における発話者アイデンティティと話し方のスタイルを保持する。
• 従来のエンコーダデコーダアーキテクチャと比較して、デコーダーのみの言語モデルがS2STにおいてどのように機能するかを評価する。
• プロンプト工学を用いたマルチタスク学習により、翻訳、音声認識（ASR）、機械翻訳（MT）、音声合成（TTS）、音声対音声翻訳（ST）の各タスクを統合的に最適化する。

提案手法

• システムは、従来のエンコーダデコーダ構造に代わって、デコーダーのみの言語モデル（U-XLM）を用い、元言語の意味的単位を目的言語の意味的単位に翻訳する。
• 意味的単位は、自己教師付き音声表現モデル（例：mHuBERT）を用いて完全に非教師ありの方法で抽出され、未記録言語のカバレッジが可能になる。
• VALL-E Xフレームワークを用いて、単位から音声（U2S）言語モデルを訓練し、発話者特徴と元の音声単位に条件付けたことでゼロショット音声クローンを実現する。
• U2Sモデルは、元音声単位のシーケンス、目的意味的単位、および元の音声特徴をプロンプトとして入力とし、目的音声特徴を生成する。
• 単位音声変換器が予測された音声特徴を波形に変換し、抑揚と発話者アイデンティティを保持する。
• プロンプト工学によりマルチタスク学習を実現し、ASR、MT、ST、TTS、S2STのデータを統一された1つのモデルで学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 デコーダーのみの言語モデルは、従来のエンコーダデコーダモデルと比較して、直接的音声対音声翻訳において優れた性能を達成できるか？
• RQ2 完全に非教師ありの離散的意味的単位は、翻訳言語のトランスクリプトデータが一切ない未記録言語に対しても、効果的なS2STを可能にするか？
• RQ3 単位ベース音声言語モデルは、合成音声における発話者アイデンティティと自然さをどの程度保持できるか？
• RQ4 プロンプト工学によるマルチタスク学習は、複数の音声および言語タスクの性能をどのように向上させるか？
• RQ5 意味的単位の品質が全体のS2ST性能に与える影響は何か？また、多言語データを用いた共同学習により単位品質が向上するか？

主な発見

• デコーダーのみアーキテクチャは、英語→スペイン語S2STで22.0 BLEUを達成し、エンコーダデコーダベースラインより3.9 BLEUポイント優れていた。
• 翻訳言語としてのスペイン語音声合成において、スペイン語のテキストトランスクリプトが一切不要な状態でASR-BLEUが18.3に達し、未記録言語への対応能力を示した。
• U2S音声合成モデルは、WERが6.40、自然さスコアが3.98、ASVスコアが0.38を達成し、VALL-E Xより自然さと耐性に優れていた。
• 時間長モデルを削除するとWERが31.93に上昇し、非教師あり単位には固有の時間長情報がないため、時間長モデリングが不可欠であることが示された。
• 多言語mHuBERT（zh_en）を用いた単位抽出によりWERが4.76に低下し、より大規模かつ多言語なモデルが意味的単位品質を向上させることを示唆した。
• 共有プロンプトを用いたマルチタスク学習により、S2ST BLEUが29.4に、MT BLEUが33.81に向上し、タスク間で統合的モデリングが有効であることを示した。