[論文レビュー] UnivNet: A Neural Vocoder with Multi-Resolution Spectrogram Discriminators for High-Fidelity Waveform Generation

Won Jang, Dan Lim+3 more|arXiv (Cornell University)|Jun 15, 2021

Speech and Audio Processing参考文献 29被引用数 4

ひとこと要約

UnivNetは、フルバンドメルスペクトログ램とマルチスケールスペクトログラム判別器（MRSD）を用いたリアルタイム音声生成ニューラルボコーダーであり、フルバンドモデルに一般的に見られる過剰平滑化問題を効果的に軽減する。見たことのない話者に対しても、見慣れた話者に対しても最先端の主観的・客観的性能を達成しており、軽量バージョンではリアルタイム比227倍の高速波形生成が可能である。

ABSTRACT

Most neural vocoders employ band-limited mel-spectrograms to generate waveforms. If full-band spectral features are used as the input, the vocoder can be provided with as much acoustic information as possible. However, in some models employing full-band mel-spectrograms, an over-smoothing problem occurs as part of which non-sharp spectrograms are generated. To address this problem, we propose UnivNet, a neural vocoder that synthesizes high-fidelity waveforms in real time. Inspired by works in the field of voice activity detection, we added a multi-resolution spectrogram discriminator that employs multiple linear spectrogram magnitudes computed using various parameter sets. Using full-band mel-spectrograms as input, we expect to generate high-resolution signals by adding a discriminator that employs spectrograms of multiple resolutions as the input. In an evaluation on a dataset containing information on hundreds of speakers, UnivNet obtained the best objective and subjective results among competing models for both seen and unseen speakers. These results, including the best subjective score for text-to-speech, demonstrate the potential for fast adaptation to new speakers without a need for training from scratch.

研究の動機と目的

• フルバンドメルスペクトログラムを用いるニューラルボコーダーにおける過剰平滑化問題に対処すること。これは高周波数成分の損失や聴取可能なアーティファクトを引き起こす。
• マルチスケールスペクトログラム判別器（MRSD）を導入することで、スペクトル分解能と波形忠実度を向上させること。MRSDは複数のスペクトログラムスケールを分析することで、スペクトル分解能を向上させる。
• 微調整なしに新しい話者に迅速に適応できるように、ユニバーサルボコーダー設計を活用すること。
• 最小限の計算コストで高精細なリアルタイム推論を実現し、多様な話者に対して強力な一般化性能を発揮すること。

提案手法

• 生成器は、MelGANにインspiredされた非自己回帰的アーキテクチャを採用し、効率的な局所特徴モデリングのためのロケーション可変畳み込み（LVC）層を組み込む。
• 生成器はフルバンドメルスペクトログラムに条件付けられており、残差ブロックを用いた逆畳み込みにより波形を生成する。
• マルチスケールスペクトログラム判別器（MRSD）は、異なるSTFTパラメータを用いて計算された複数の線形スペクトログラムの大きさを処理し、スペクトル分解能を向上させる。
• モデルはマルチペリオド波形判別器（MPWD）とMRSDを組み合わせることで、時間的周期性とスペクトル詳細の両方をモデル化する。
• 生成器は adversarial loss とマルチスケールSTFT loss で訓練され、MRSDが高周波数分解能のフィードバックを提供する。
• 推論速度最適化のためのアーキテクチャであり、軽量バージョン（UnivNet-c16）はリアルタイム比227倍の生成速度を達成している。

実験結果

リサーチクエスチョン

• RQ1 フルバンドメルスペクトログラムを用いるニューラルボコーダーは、過剰平滑化を回避しながら高精細な波形生成を達成できるか？
• RQ2 マルチスケールスペクトログラム判別器は、生成波形のスペクトル分解能を向上させ、アーティファクトを低減できるか？
• RQ3 微調整なしに、1つのボコーダーが見慣れない話者に効果的に一般化できるか？
• RQ4 マルチペリオドとマルチスケール判別器の組み合わせが、波形品質および時間的・スペクトル的忠実度をどのように向上させるか？
• RQ5 フルバンドニューラルボコーダーにおいて、モデルの複雑さ、推論速度、主観的品質の間にはどのようなトレードオフがあるか？

主な発見

• UnivNet-c16は、見慣れた話者に対して平均評価スコア（MOS）3.92、見慣れない話者に対して3.79を達成し、MelGAN、Parallel WaveGAN、HiFi-GANを上回った。
• テキスト音声合成評価では、UnivNet-c32が最高のMOS4.07を記録し、新しい話者へのゼロショット一般化性能が顕著に優れていた。
• アブレーションスタディの結果、MRSDを削除すると顕著な過剰平滑化と金属音のような聴取可能なアーティファクトが発生し、MOSが0.5ポイント以上低下した。
• UnivNet-c16はリアルタイム比227.27倍の波形生成速度を達成しており、HiFi-GAN（135.14倍）やMelGAN（294.11倍）よりも顕著に高速でありながら、高い品質を維持していた。
• UnivNet-c32は、見慣れない話者に対してPESQ3.70、RMSE0.294という最高の客観的スコアを達成し、すべてのベースラインを上回った。
• MPWDとMRSDの組み合わせ（MSWD）は最高のMOS3.90を記録し、マルチスケール時間的およびスペクトル的識別が相乗効果をもたらすことを確認した。