[論文レビュー] ESPnet2-TTS: Extending the Edge of TTS Research

Tomoki Hayashi, Ryuichi Yamamoto+8 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 47被引用数 28

ひとこと要約

ESPnet2-TTS は、即時前処理、Model Zoo、共同訓練を備えた最先端の TTS モデルを追加したエンドツーエンド TTS ツールキットで、性能と再現性の向上を目指す。英語と日本語の実験では、単一話者・複数話者設定を通じて ground-truth と同等の結果が得られます。

ABSTRACT

This paper describes ESPnet2-TTS, an end-to-end text-to-speech (E2E-TTS) toolkit. ESPnet2-TTS extends our earlier version, ESPnet-TTS, by adding many new features, including: on-the-fly flexible pre-processing, joint training with neural vocoders, and state-of-the-art TTS models with extensions like full-band E2E text-to-waveform modeling, which simplify the training pipeline and further enhance TTS performance. The unified design of our recipes enables users to quickly reproduce state-of-the-art E2E-TTS results. We also provide many pre-trained models in a unified Python interface for inference, offering a quick means for users to generate baseline samples and build demos. Experimental evaluations with English and Japanese corpora demonstrate that our provided models synthesize utterances comparable to ground-truth ones, achieving state-of-the-art TTS performance. The toolkit is available online at https://github.com/espnet/espnet.

研究の動機と目的

• 統一されたタスク設計を備えた柔軟で拡張性のあるツールキットを提供することにより、エンドツーエンドTTSを前進させる。
• 統一されたレシピと事前学習モデルを通じて、最先端TTS結果の迅速な再現性を可能にする。
• 英語および日本語コーパス上で、E2E-T2Wモデルと拡張の性能を示す。
• パイプラインを簡素化し品質を向上させるため、ニューラルボコーダとの共同訓練を強調する。

提案手法

• 即時前処理を可能にする統一タスク設計と、迅速なモデルアクセスのためのModel Zooを備えた ESPnet2-TTS を導入する。
• 自己回帰型と非自己回帰型の T2M モデル（Tacotron 2、Transformer-TTS、FastSpeech、FastSpeech 2、Conformer-FastSpeech 系）と、話者埋め込み、X-vectors、GSTs を用いたマルチ話者拡張をサポートする。
• M2W vocoders を提供（Griffin-Lim、Parallel WaveGAN、MelGAN、StyleMelGAN、HiFi-GAN およびマルチバンド変種）と、ランダムウィンドウ型識別器を用いた Joint-T2W 訓練を実施。
• Conformerエンコーダを備えたVITSなどのE2E-T2Wモデルを取り入れ、 full-band 波形モデリングと事前学習済み話者埋め込みを用いたゼロショット話者適応を実現する。
• 評価指標（MCD、F0 RMSE、CER、MOS）とウェブベースの MOS テストのためのガイダンスを提供し、事前学習済みウェイトとデモを公開する。

実験結果

リサーチクエスチョン

• RQ1 ESPnet2-TTSは、複数言語と話者設定にわたって、最先端のE2E-TTS結果を再現できるか。
• RQ2 T2MとM2Wコンポーネントの共同訓練は、単独訓練と比較して自然さと intelligibility にどのように影響するか。
• RQ3 Conformerアーキテクチャ、全帯域波形モデリング、ゼロショット話者適応を使用した場合のTTS性能への影響は？
• RQ4 英語と日本語のコーパスにおける単一話者、複数話者、適応シナリオの比較はどうなるか？
• RQ5 ESPnet2-TTSエコシステム内のARとNAR T2Mモデルのトレードオフは何か？

主な発見

• 英語および日本語コーパスで、いくつかの設定でground-truthと同等の結果を伴う新たな最先端型性能。
• T2MとM2Wの共同訓練（Joint-T2W）は自然さを向上させ、アライメント/ミスマッチの問題を低減する。特に非自己回帰モデルで顕著。
• Conformerベースの拡張（Conformer-FastSpeech、Conformer-FastSpeech 2）は、品質を維持しつつ推論を高速化する。
• VITSベースのE2E-T2W、全帯域波形モデリングとゼロ-shot話者適応により、競争力のあるMOSと理解度を実現。性能はG2P精度に依存する。
• マルチ-speaker評価は、X-vectors が話者類似性と自然さを高める可能性を示し、seen/unseen 話者の結果は多くのケースで X-VITSを支持する。
• 広範な英語、日本語および適応実験は、再現性と広範な言語対応を示す。