[論文レビュー] TTS-by-TTS: TTS-driven Data Augmentation for Fast and High-Quality Speech Synthesis

Min-Jae Hwang, Ryuichi Yamamoto+2 more|arXiv (Cornell University)|Oct 26, 2020

Speech Recognition and Synthesis参考文献 25被引用数 5

ひとこと要約

本論文では、高品質な自己回帰的（AR）TTSシステムを用いて正確な音素持続時間を持つ合成音声テキストペアを生成し、それを非自己回帰的（non-AR）TTSモデルの事前学習に使用するデータ拡張手法TTS-by-TTSを提案する。この手法により合成品質が顕著に向上し、実データ5時間に合成データ179時間を追加することで3.74のMOSを達成。これはベースライン比40%の向上である。

ABSTRACT

In this paper, we propose a text-to-speech (TTS)-driven data augmentation method for improving the quality of a non-autoregressive (AR) TTS system. Recently proposed non-AR models, such as FastSpeech 2, have successfully achieved fast speech synthesis system. However, their quality is not satisfactory, especially when the amount of training data is insufficient. To address this problem, we propose an effective data augmentation method using a well-designed AR TTS system. In this method, large-scale synthetic corpora including text-waveform pairs with phoneme duration are generated by the AR TTS system and then used to train the target non-AR model. Perceptual listening test results showed that the proposed method significantly improved the quality of the non-AR TTS system. In particular, we augmented five hours of a training database to 179 hours of a synthetic one. Using these databases, our TTS system consisting of a FastSpeech 2 acoustic model with a Parallel WaveGAN vocoder achieved a mean opinion score of 3.74, which is 40% higher than that achieved by the conventional method.

研究の動機と目的

• 訓練データが限られている状況での非自己回帰的（non-AR）音声合成（TTS）システムの品質向上を目的とする。
• 高精細なAR TTSを用いたデータ拡張により、ARとnon-AR TTSモデルの性能差を是正することを目的とする。
• 正確な音素持続時間を持つ合成データを用いることで、非AR TTSモデルの一般化能力と耐障害性を向上させることを目的とする。
• TTS駆動のデータ拡張が従来の訓練法や知識蒸留法よりも、主観的品質指標で優れていることを検証することを目的とする。

提案手法

• 音声合成品質が優れたTacotron 2ベースのAR TTSモデルに、持続時間予測器を備えたものを、合成データ生成のソースモデルとして使用する。
• 多様で音素分布を維持したテキストスクリプトをソースAR TTSモデルに供給することで、大規模な合成テキスト-音声ペアを生成する。
• 外部の持続時間モデルにより音素持続時間を予測し、テキストと音響特徴の間のアライメント精度を向上させる。
• LP-WaveNet音声生成器により、生成された音響特徴から高品質な波形を合成し、現実的で自然な音声出力を保証する。
• 合成データセットを用いて、FastSpeech 2ベースの非AR TTSモデルを事前学習し、推論時にはParallel WaveGAN音声生成器と組み合わせる。
• 追加の実データ録音を必要とせず、品質とアライメント忠実度に焦点を当てたデータ拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高品質なAR TTSシステムを用いて合成データを生成することで、非AR TTSモデルの品質を顕著に向上させられるか？
• RQ2 TTS駆動のデータ拡張は、従来の訓練法や知識蒸留法と比較して、知覚的品質においてどのように差がつくか？
• RQ3 音素持続時間分布を保持した合成データを用いたデータ拡張により、未学習のテキストパターンに対しても一般化性能が向上するか？
• RQ4 実データが限られている状況で、この手法がARとnon-AR TTSシステムの性能差をどの程度縮小できるか？
• RQ5 実データ量を増やした場合に、提案手法が性能を維持または向上させられるか？

主な発見

• 提案手法TTS-by-TTSは、実データ5時間と合成データ179時間を用いて学習した非AR TTSシステムで、平均意見スコア（MOS）3.74を達成。これはデータ拡張なしのベースライン比で40%の向上である。
• 実データと拡張データの両方を用いた場合、非AR TTSシステムのMOSは3.95に達し、実データ5時間のみの設定（MOS 3.74）を上回った。
• 持続時間予測器を備えたAR TTSモデルは、標準的なアテンション機構と比較してより正確な音素アライメントを実現しており、定性的な分析で明確なアテンションヒートマップが得られた。
• このデータ拡張手法により、Tacotron 2モデルの耐障害性が向上し、未学習のテキストに対してアテンションの崩壊が軽減され、アライメントの安定性が向上した。
• モデル蒸留に依存する知識蒸留法とは異なり、データ量と品質に焦点を当てたアプローチにより、本手法は優れた性能を発揮した。
• 実データがわずか5時間でも、MOS 3.74を達成した。これは合成データがデータ不足を効果的に補填できることを示している。