[論文レビュー] VocGAN: A High-Fidelity Real-time Vocoder with a Hierarchically-nested Adversarial Network

Jinhyeok Yang, Junmo Lee+3 more|arXiv (Cornell University)|Jul 30, 2020

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 5

ひとこと要約

VocGAN は、階層的ネスト型 adversarial loss と joint conditional および unconditional (JCU) 学習、マルチスケール波形生成、マルチリゾリューション STFT loss を導入することで MelGAN を改善した高精細度・リアルタイム対応のニューラルボコーダーである。GPU ではリアルタイムの 416.7 倍、CPU では 3.24 倍の高速推論を達成し、客観的指標（MCD、F0 RMSE、PESQ）および主観的 MOS スコアにおいて、MelGAN や Parallel WaveGAN より顕著に優れている。

ABSTRACT

We present a novel high-fidelity real-time neural vocoder called VocGAN. A recently developed GAN-based vocoder, MelGAN, produces speech waveforms in real-time. However, it often produces a waveform that is insufficient in quality or inconsistent with acoustic characteristics of the input mel spectrogram. VocGAN is nearly as fast as MelGAN, but it significantly improves the quality and consistency of the output waveform. VocGAN applies a multi-scale waveform generator and a hierarchically-nested discriminator to learn multiple levels of acoustic properties in a balanced way. It also applies the joint conditional and unconditional objective, which has shown successful results in high-resolution image synthesis. In experiments, VocGAN synthesizes speech waveforms 416.7x faster on a GTX 1080Ti GPU and 3.24x faster on a CPU than real-time. Compared with MelGAN, it also exhibits significantly improved quality in multiple evaluation metrics including mean opinion score (MOS) with minimal additional overhead. Additionally, compared with Parallel WaveGAN, another recently developed high-fidelity vocoder, VocGAN is 6.98x faster on a CPU and exhibits higher MOS.

研究の動機と目的

• 既存の GAN ベースのボコーダーと同等またはそれを上回る性能を発揮しながら、低遅延のリアルタイム推論を実現する高精細度・リアルタイム対応のニューラルボコーダーを開発すること。
• MelGAN の品質制限、特に低周波および高周波成分の劣化と入力のメルスペクトログ램との一貫性の欠如を是正すること。
• joint conditional および unconditional (JCU) loss などの高度な学習目的を統合することで、波形の一貫性と音声の忠実度を向上させること。
• 高密度なアーキテクチャや複雑な訓練手順に依存せずに、GPU および CPU 両方でリアルタイム性能を達成すること。
• 高品質な出力と最小限の計算負荷で運用可能なエンドツーエンドの生産向けテキスト・ツー・スピーチシステムを実現すること。

提案手法

• 生成器は複数の時間スケールで波形を生成するマルチスケールアーキテクチャを採用しており、微細な特徴とグローバルな音声特徴の両方をよりよく捉えることができる。
• 解像度別ブランチを持つ階層的ネスト型ディスクラミネータを用いて、複数スケールで adversarial 学習を強化し、複数レベルの音声特性の学習を向上させている。
• joint conditional および unconditional (JCU) loss が生成器およびディスクラミネータの両方に適用されており、学習の安定性を高め、波形の現実性を向上させている。
• スペクトル詳細の保持と波形忠実度の向上を目的として、マルチリゾリューション短時間フーリエ変換（STFT）損失を補助的目的として使用している。
• アドバーシャル損失、特徴マッチング損失、STFT 損失の組み合わせを用いて訓練しており、チェッカーボードアーチファクトの発生を回避するための注意深いアーキテクチャ設計が施されている。
• 生成器は、高時間分解能を確保し、アーチファクトの発生を防ぐために、適切に選定されたカーネルサイズとストライドを持つストライド付き転置畳み込みを用いている。

実験結果

リサーチクエスチョン

• RQ1 GAN ベースのボコーダーは、GPU および CPU 両方でリアルタイム推論を達成しつつ、高精細度の音声合成を実現できるか？
• RQ2 階層的ネスト型 adversarial 学習目的は、入力メルスペクトログラムとの整合性を保ちながら波形品質と一貫性をどのように向上させるか？
• RQ3 JCU 損失とマルチリゾリューション STFT 損失を組み合わせることで、主観的および客観的音声品質指標にどの程度の向上効果が得られるか？
• RQ4 特に CPU 推論環境において、VocGAN は MelGAN や Parallel WaveGAN と比べてどの程度の速度と品質を達成しているか？
• RQ5 提案されたアーキテクチャは、知識蒸留や複雑な事前学習手順に依存せずに、高い性能を維持できるか？

主な発見

• VocGAN は平均意見スコア（MOS）4.202 ± 0.081 を達成し、MelGAN（3.898 ± 0.091）や Parallel WaveGAN（4.098 ± 0.085）を顕著に上回った。
• GTX 1080Ti GPU 上では、VocGAN はリアルタイムの 416.7 倍の速度で音声を合成し、リアルタイムをはるかに上回り、MelGAN よりも効率的であった。
• 単一の CPU コア上では、VocGAN はリアルタイムの 3.24 倍の推論速度を達成し、MelGAN を上回り、Parallel WaveGAN よりも 6.98 倍速かった。
• アブレーションスタディの結果、階層的ネスト型 JCU 目的とマルチリゾリューション STFT 損失の併用が、MCD および F0 RMSE 指標で最大の向上をもたらした。
• VocGAN が生成した波形の F0 軌道は、MelGAN よりも真値にはるかに近く、周波数の保持が優れていた。
• VocGAN は、MelGAN よりもメルケプストラム距離（MCD）および F0 ルート平均二乗誤差（RMSE）をより効果的に低減しており、スペクトルおよび周波数の正確性が向上していることが示された。