[論文レビュー] ESPnet-TTS: Unified, Reproducible, and Integratable Open Source End-to-End Text-to-Speech Toolkit

Tomoki Hayashi, Ryuichi Yamamoto+7 more|arXiv (Cornell University)|Oct 24, 2019

Speech Recognition and Synthesis参考文献 41被引用数 12

ひとこと要約

ESPnet-TTS は、ESPnet フレームワークに基づいて構築されたオープンソースのエンド・ツー・エンド TTS ツールキットであり、Tacotron2 や Transformer TTS、FastSpeech といった最先端のモデルの統合的で再現可能なレシピを提供する。LJSpeech での平均意見スコア（MOS）は 4.25 を達成し、他の主要ツールキットと同等の性能を示しており、自動音声認識（ASR）とシームレスに統合可能で、共同学習や評価が可能である。

ABSTRACT

This paper introduces a new end-to-end text-to-speech (E2E-TTS) toolkit named ESPnet-TTS, which is an extension of the open-source speech processing toolkit ESPnet. The toolkit supports state-of-the-art E2E-TTS models, including Tacotron~2, Transformer TTS, and FastSpeech, and also provides recipes inspired by the Kaldi automatic speech recognition (ASR) toolkit. The recipes are based on the design unified with the ESPnet ASR recipe, providing high reproducibility. The toolkit also provides pre-trained models and samples of all of the recipes so that users can use it as a baseline. Furthermore, the unified design enables the integration of ASR functions with TTS, e.g., ASR-based objective evaluation and semi-supervised learning with both ASR and TTS models. This paper describes the design of the toolkit and experimental evaluation in comparison with other toolkits. The experimental results show that our models can achieve state-of-the-art performance comparable to the other latest toolkits, resulting in a mean opinion score (MOS) of 4.25 on the LJSpeech dataset. The toolkit is publicly available at https://github.com/espnet/espnet.

研究の動機と目的

• 音声合成分野の研究を加速するために、統合的・再現可能・統合可能なエンド・ツー・エンド TTS ツールキットの開発を目的とする。
• Tacotron2 や Transformer TTS、FastSpeech といった最先端の E2E-TTS モデルを、標準化された Kaldi スタイルのレシピでサポートすることを目的とする。
• ESPnet ASR レシピフレームワークに準拠した TTS レシピ設計により、高い再現性を実現することを目的とする。
• ASR との統合を促進し、ASR を用いた目的評価や半教師あり学習などのタスクを可能とすることを目的とする。
• 即時ベースライン設定やデモに利用可能な事前学習済みモデルと生成サンプルの提供を目的とする。

提案手法

• ツールキットは ESPnet フレームワークを拡張し、データ準備、学習、推論を標準化する統合的・Kaldi スタイルのレシピを用いて、エンド・ツー・エンド TTS をサポートする。
• PyTorch をバックエンドとして使用し、Tacotron2、Transformer TTS、FastSpeech といった複数の最先端の TTS アーキテクチャを実装する。
• ASR モデルと共同で学習・評価できる設計となっており、文字誤り率（CER）による目的評価や半教師あり学習が可能である。
• WaveNet や WaveRNN といったニューラルボコーダーもサポートし、高品質な音声生成を実現する。
• すべてのレシピに対して事前学習済みモデルと推論サンプルを提供することで、即時利用性と再現性を確保する。
• 共有埋め込み空間と統合された学習パイプラインにより、マルチスプーカー TTS やスプーカー適応が可能である。

実験結果

リサーチクエスチョン

• RQ1 既存の ASR フレームワーク上に統合的・再現可能・統合可能な E2E-TTS ツールキットを構築することで、研究効率が向上するか？
• RQ2 ESPnet-TTS の性能は、他の主要なオープンソース E2E-TTS ツールキットと比較して、知覚的品質および推論速度の面でどう異なるか？
• RQ3 ASR と TTS を共通フレームワークで共同で学習・評価できる範囲はどの程度か？
• RQ4 LJSpeech などの標準ベンチマークで、最小限のユーザー設定で最先端のパフォーマンスを達成できるか？
• RQ5 モデルアーキテクチャ（例：自己回帰的 vs. 非自己回帰的）が推論速度と品質に与える影響はいかほどか？

主な発見

• ESPnet-TTS は LJSpeech データセットで平均意見スコア（MOS）4.25 を達成し、他の主要ツールキットと同等の最先端の知覚的品質を示した。
• 発音記号入力（バージョン3）を用いた Transformer TTS モデルが最高の MOS（4.25）を記録し、Tacotron2 や他のベースラインを上回った。
• FastSpeech は最も速い推論速度を示し、GPU でのリアルタイム要因（RTF）は 0.003 であった—これは Transformer TTS より 200 倍速く、Tacotron2 より 30 倍速い。
• Tacotron2 と Transformer TTS モデルは類似した MOS スコア（4.14–4.20）を達成しており、アーキテクチャ間でのパフォーマンスの一貫性が確認された。
• 従来の SPSS システム（例：Merlin）の MOS 2.69 よりも優れており、エンド・ツー・エンド学習の優位性が裏付けられた。
• ASR と TTS の統合により、文字誤り率（CER）による目的評価が可能となり、共同学習・評価の実現可能性が示された。