[論文レビュー] Multi-band MelGAN: Faster Waveform Generation for High-Quality Text-to-Speech

Geng Yang, Shan Yang+4 more|arXiv (Cornell University)|May 11, 2020

Speech Recognition and Synthesis参考文献 26被引用数 21

ひとこと要約

本稿では、受容 field の拡大、特徴マッチング損失の多解像度 STFT 損失への置き換え、およびマルチバンド波形生成の導入により、より高速かつ高品質な音声合成用神経音声生成器である Multi-band MelGAN (MB-MelGAN) を提案する。モデルは波形生成で 4.34 の MOS を達成し、TTS で 4.22 の MOS を記録しており、パrameter 数は 1.91M、GFLOPS は 0.95 であり、CPU 上でリアルタイム要因 0.03 を達成している。これは元の MelGAN より 7 倍高速でありながら、高品質な音声を維持している。

ABSTRACT

In this paper, we propose multi-band MelGAN, a much faster waveform generation model targeting to high-quality text-to-speech. Specifically, we improve the original MelGAN by the following aspects. First, we increase the receptive field of the generator, which is proven to be beneficial to speech generation. Second, we substitute the feature matching loss with the multi-resolution STFT loss to better measure the difference between fake and real speech. Together with pre-training, this improvement leads to both better quality and better training stability. More importantly, we extend MelGAN with multi-band processing: the generator takes mel-spectrograms as input and produces sub-band signals which are subsequently summed back to full-band signals as discriminator input. The proposed multi-band MelGAN has achieved high MOS of 4.34 and 4.22 in waveform generation and TTS, respectively. With only 1.91M parameters, our model effectively reduces the total computational complexity of the original MelGAN from 5.85 to 0.95 GFLOPS. Our Pytorch implementation, which will be open-resourced shortly, can achieve a real-time factor of 0.03 on CPU without hardware specific optimization.

研究の動機と目的

• 高精細音声合成のための MelGAN の品質および学習安定性を向上させること。
• 音声品質を損なわず計算複雑性を低減し、推論速度を高速化すること。
• 元の MelGAN に見られる聴覚的アーティファクト（ジャイターや金属音）を解消すること。
• 実用的な TTS デプロイメントに適した、CPU 上での効率的かつリアルタイムの推論を可能にすること。
• マルチバンド処理の有効性を検証すること、特にモデルの複雑性を低減しつつも知覚的品質を維持できるか。

提案手法

• 長距離の音声依存性モデリングを向上させるために、MelGAN の生成器の受容 field を拡大する。
• 元の特徴マッチング損失を、実際の音声と生成音声のスペクトル的・時間的差異をよりよく捉える多解像度 STFT 損失に置き換える。
• 生成器がサブバンド波形を予測し、それらを合成してフルバンド出力を得るマルチバンド処理フレームワークを導入する。
• サブバンドおよびフルバンド波形の両方に対して多解像度 STFT 損失を適用し、知覚的品質および学習安定性を向上させる。
• 敵対的学習中の収束および音声品質を向上させるために事前学習を適用する。
• すべてのサブバンドで共通の生成器ネットワークを採用することで、パrameter 数および計算コストを削減する。

実験結果

リサーチクエスチョン

• RQ1 MelGAN の受容 field を拡大することで、音声品質および学習安定性が顕著に向上するか？
• RQ2 特徴マッチング損失を多解像度 STFT 損失に置き換えることで、知覚的品質が向上し、収束が速くなるか？
• RQ3 マルチバンド処理により計算複雑性が低減されつつも、高精細音声生成が維持できるか？
• RQ4 サブバンドおよびフルバンドの多解像度 STFT 損失を組み合わせることで、音声品質および学習ダイナミクスにどのような影響があるか？
• RQ5 MB-MelGAN は、最小限のパrameter 数と低リアルタイム要因を備え、CPU 上でリアルタイム TTS アプリケーションに適した高 MOS を達成できるか？

主な発見

• MB-MelGAN は波形生成において平均評価得点（MOS）4.34 を達成し、元の MelGAN の 3.98 より顕著な向上を示した。
• TTS タスクにおいて、MB-MelGAN は MOS 4.22 を達成し、元の MelGAN（3.87）および FB-MelGAN（4.18）を上回った。
• 計算複雑性は元の MelGAN の 5.85 GFLOPS から 0.95 GFLOPS に低減され、CPU 上でリアルタイム要因 0.03 を達成した。
• マルチバンド設計により、フルバンドモデルと比較して学習時間を約 50% 減少させつつ、音声品質を維持または向上させた。
• サブバンドおよびフルバンドの多解像度 STFT 損失を組み合わせることで、音声品質および学習安定性が向上し、収束が早くなった。
• わずか 191 万パラメータで高品質な音声合成を実現したため、リソース制限のあるデバイスへのデプロイに非常に効率的である。