[論文レビュー] NAUTILUS: a Versatile Voice Cloning System

Hieu-Thi Luong, Junichi Yamagishi|arXiv (Cornell University)|May 22, 2020

Speech Recognition and Synthesis参考文献 78被引用数 14

ひとこと要約

NAUTILUSは、未学習の音声を5分間の発話なしで、高精度な話者一貫性を維持しながら、テキスト音声合成（TTS）および音声変換（VC）の両モードで最先端の性能を達成する統合的でエンドツーエンドの音声クローンシステムです。多話者事前学習フレームワークを活用し、利用可能なデータに応じてクローン戦略を動的に調整することで、多様なデータ環境に柔軟に適応可能です。

ABSTRACT

We introduce a novel speech synthesis system, called NAUTILUS, that can generate speech with a target voice either from a text input or a reference utterance of an arbitrary source speaker. By using a multi-speaker speech corpus to train all requisite encoders and decoders in the initial training stage, our system can clone unseen voices using untranscribed speech of target speakers on the basis of the backpropagation algorithm. Moreover, depending on the data circumstance of the target speaker, the cloning strategy can be adjusted to take advantage of additional data and modify the behaviors of text-to-speech (TTS) and/or voice conversion (VC) systems to accommodate the situation. We test the performance of the proposed framework by using deep convolution layers to model the encoders, decoders and WaveNet vocoder. Evaluations show that it achieves comparable quality with state-of-the-art TTS and VC systems when cloning with just five minutes of untranscribed speech. Moreover, it is demonstrated that the proposed framework has the ability to switch between TTS and VC with high speaker consistency, which will be useful for many applications.

研究の動機と目的

• テキスト音声合成（TTS）と音声変換（VC）の両機能をシームレスに統合する統合的音声クローンシステムの開発。
• 未学習話者からの5分間の発話なし音声のみで高品質な音声クローンを実現すること。
• データ状況（例：ラベルあり vs. ラベルなし、豊富 vs. 少数）に応じて適応可能な柔軟なクローン戦略の設計。
• TTSとVCモード間を切り替える際の高い話者類似度と自然さの維持。
• 学習可能な話者ベクトルと共有エンコーダーを用いて、話者アイデンティティと言語的コンテンツを分離すること。

提案手法

• TTSおよびVCの両タスクに共通するエンコーダーとデコーダーを、多話者音声コーパスを用いて事前学習。
• 話者に依存しない音声エンコーダーを採用し、発話なし音声から話者埋め込みを抽出することで、ゼロショット音声クローンを実現。
• 音声の発話内容を表す言語的表現に変換するためのテキストエンコーダー（教師ありまたは教師なし）を適用し、ファインチューニングによる適応を実施。
• WaveNetベースのニューラルボコーダーを用いて、音声特徴量から高精細な波形を生成。
• 教師あり（発話付きデータ使用）および教師なし（発話なし音声のみ）の2つのクローン戦略をサポートし、データの有無に応じて動的に切り替え可能。
• 言語的潜在空間（LLE）分析を導入し、テキストエンコーダーと音声エンコーダーの表現間の整合性を比較・検証。

実験結果

リサーチクエスチョン

• RQ1 統合的ディープラーニングフレームワークは、TTSおよびVCの両分野で最先端の性能を達成しつつ、高い話者一貫性を維持できるか？
• RQ2 発話なしの音声のみで5分間の音声を用いた音声クローンはどの程度有効か？
• RQ3 教師ありと教師なしの適応戦略の選択が、発音の正確性および話者類似度にどの程度影響を与えるか？
• RQ4 異なる話者状況下で、テキストエンコーダーと音声エンコーダーの学習済み言語的潜在表現の整合性はどの程度か？
• RQ5 システムは、データの可用性や品質の変化に応じて、性能最適化を図るべく動作を動的に調整できるか？

主な発見

• NAUTILUSは、わずか5分間の発話なし音声のみで最先端の音声クローン性能を達成し、専用の最先端TTSおよびVCシステムと同等またはそれを上回る性能を示した。
• 教師なしクローン戦略は、ネイティブ英語話者（例：p294）において教師あり戦略を上回った。これは、テキストエンコーダーが自然な発音とすでに良好に一致しているためである。
• 教師あり戦略は、非ネイティブ話者（例：MF6）では話者類似度を向上させるが、発音の正確性に悪影響を及える傾向にあり、これはL2アクセントへの効果的な適応を示している。
• LLE分析により、ネイティブ話者ではテキストおよび音声エンコーダーの表現が良好に一致していることが確認されたが、非ネイティブ話者では整合性が崩れ、教師あり戦略がその是正に寄与していることが示された。
• TTSとVCモード間をスムーズに切り替えながらも、話者アイデンティティを一貫して維持できることから、高い柔軟性と耐障害性を示した。
• 溶接ステップや言語的サイクル一貫性マージンといった補完的技術はWERをわずかに改善したが、生産環境でのさらなる最適化の余地があることが示唆された。