[論文レビュー] MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis

Kundan Kumar, Rithesh Kumar+7 more|arXiv (Cornell University)|Oct 8, 2019

Speech and Audio Processing被引用数 598

ひとこと要約

MelGAN は軽量で自己回帰でない GAN を用い、メルスペクトログラムを生の音声に逆変換する高品質さと推論の速さを実現し、話者やドメインを超えて一般化します。

ABSTRACT

Previous works (Donahue et al., 2018a; Engel et al., 2019a) have found that generating coherent raw audio waveforms with GANs is challenging. In this paper, we show that it is possible to train GANs reliably to generate high quality coherent waveforms by introducing a set of architectural changes and simple training techniques. Subjective evaluation metric (Mean Opinion Score, or MOS) shows the effectiveness of the proposed approach for high quality mel-spectrogram inversion. To establish the generality of the proposed techniques, we show qualitative results of our model in speech synthesis, music domain translation and unconditional music synthesis. We evaluate the various components of the model through ablation studies and suggest a set of guidelines to design general purpose discriminators and generators for conditional sequence synthesis tasks. Our model is non-autoregressive, fully convolutional, with significantly fewer parameters than competing models and generalizes to unseen speakers for mel-spectrogram inversion. Our pytorch implementation runs at more than 100x faster than realtime on GTX 1080Ti GPU and more than 2x faster than real-time on CPU, without any hardware specific optimization tricks.

研究の動機と目的

• GAN で整合性のある生の音声を生成する課題を動機づける。
• メルスペクトログラム反転のための非自己回帰・全畳み込み Generator を提案する。
• ヒンジ損失と特徴マッチングを備えた多スケール・ウィンドウベースの判別器を導入する。
• ベースラインと比較してパラメータ数が少なく、CPU/GPU 推論が高速であることを示す。
• 未知の話者への一般化と、音声・音楽翻訳および無条件合成への応用を示す。

提案手法

• Generator: メルスペクトログラムから波形への完全畳み込みアップサンプリングを、拡張残差ブロックとチェッカーボードアーティファクトを回避する慎重なアップサンプリングで実現。
• Normalization: 学習を安定させるため全 Generator 層でウェイト正規化を用いる; Instance normalization やスペクトル正規化は回避。
• Discriminator: 生データ、1/2、1/4 の音声スケールで動作する多スケール・ウィンドウベースの識別器で、広い受容野を持つ。
• Training objective: ヒンジ損失 GAN 目的と、識別層全体の特徴マッチング損失（LFM）を組み合わせる; Generator は敵対的損失と重み付き特徴マッチングの和を最適化（lambda=10）。
• Architecture considerations: 拡張畳み込みによる長距離時間的依存性の帰納的バイアス; カーネル/ストライドの選択によるチェッカーボードアーティファクトの制御; グローバルなノイズベクトル入力はなし。
• Evaluation: メルスペクトログラム反転、エンドツーエンド TTS、音楽翻訳および VQ-VAE 文脈における非自己回帰拡張の MOS ベースの聴感テスト。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰・全畳み込み GAN は、メルスペクトログラムから高品質な生の音声を信頼性高く合成できるか？
• RQ2 多スケール・ウィンドウベースの識別器は、オーディオパッチ間の聴感的忠実度と一貫性を改善するか？
• RQ3 MOS において、MelGAN は自己回帰ボーカルコーダや他の非自己回帰法とどのように比較されるか？
• RQ4 未知の話者へ一般化し、エンドツーエンド TTS および音楽翻訳パイプラインへ組み込むことができるか？

主な発見

モデル	MOS	95% 信頼区間
Griffin Lim	1.57	± 0.04
WaveGlow	4.11	± 0.05
WaveNet	4.05	± 0.05
MelGAN	3.61	± 0.06
Original	4.52	± 0.04

• MelGAN は、メルスペクトログラム反転およびエンドツーエンド TTS で WaveGlow および WaveNet と競合する MOS スコアを達成する。
• モデルは軽量（4.26M パラメータ）で、CPU/GPU 全域で 50-2600 kHz の推論速度を達成し、ベースラインを速度で上回る。
• 多スケール・ウィンドウベースの識別器と特徴マッチングは音質に不可欠で、これらを除くと MOS が低下する。
• MelGAN は多話者データで訓練すると未知の話者に一般化し、話者に不変なメル-to-ウェーブフォームの写像を示す。
• MelGAN を用いたエンドツーエンド TTS（Text2mel + MelGAN）は Griffin-Lim と同等またはそれ以上の MOS を得て、WaveGlow ベースのベースラインと競合する一方、元の高品質なリファレンスは依然として優れている。
• MelGAN は音楽翻訳と VQ-VAE の文脈で自己回帰デコーダを置換し、実質的な速度向上を達成できる（例: GPU 上で約0.16秒の音声を ~1秒で処理）。