[論文レビュー] GAN Vocoder: Multi-Resolution Discriminator Is All You Need

Jaeseong You, Dal-Hyun Kim+3 more|arXiv (Cornell University)|Mar 9, 2021

Speech Recognition and Synthesis参考文献 23被引用数 5

ひとこと要約

この論文は、GAN音声合成器の高性能な性能が、アーキテクチャの詳細や損失関数ではなく、マルチスケールディスクライマの存在に起因していることを示している。6種類の多様な生成器を1つのHiFi-GANベースのマルチスケールディスクライマと組み合わせた研究により、MOSスコアやMCDスコアに有意な差がないことが示され、生成器の設計にかかわらず高音質音声合成を実現する鍵はディスクライマフレームワークそのものであることが証明された。

ABSTRACT

Several of the latest GAN-based vocoders show remarkable achievements, outperforming autoregressive and flow-based competitors in both qualitative and quantitative measures while synthesizing orders of magnitude faster. In this work, we hypothesize that the common factor underlying their success is the multi-resolution discriminating framework, not the minute details in architecture, loss function, or training strategy. We experimentally test the hypothesis by evaluating six different generators paired with one shared multi-resolution discriminating framework. For all evaluative measures with respect to text-to-speech syntheses and for all perceptual metrics, their performances are not distinguishable from one another, which supports our hypothesis.

研究の動機と目的

• 最近のGAN音声合成器の成功が、アーキテクチャの革新に起因するのか、共通の根底的なメカニズムに起因するのかを調査すること。
• マルチスケールディスクライマフレームワークが、高性能な音声合成を可能にする主要因であるという仮説を検証すること。
• 統一的かつ強力なディスクライマと組み合わせた場合、多様な生成器アーキテクチャが同等の性能を発揮するかどうかを評価すること。
• マルチスケールディスクライマが、例えば波形、スペクトログラム、中間特徴など、さまざまな種類の入力表現に対して一般化するかどうかを検証すること。
• 生成器の容量を増加させることで、MelGANレベルのモデルが達成する水準をはるかに超える性能向上が得られるかどうかを評価すること。

提案手法

• 研究では、6種類の異なるGAN音声合成生成器に共通して使用されるHiFi-GANベースのマルチスケールディスクライマを固定された共通コンponentとして用いる。
• 各生成器は同一のディスクライマを用いて訓練および評価され、性能の差が生成器設計に起因するものであり、ディスクライマの変動によるものではないことを保証する。
• 評価には、MOSおよびMCD指標を用いた、真値（GT）再構成と音声合成（TTS）タスクの両方が含まれる。
• マルチスケールディスクライマは、生成波形を複数のスケールで評価し、局所的およびグローバルな音声特性を捉える。
• 実験には、MRFベース（HiFi-GAN）、軸方向残差ブロック（提案モデル）、GAUブロック（UMGAN）を含む、さまざまなアップサンプリング戦略や条件付けメカニズムを有するアーキテクチャの異なる生成器が含まれる。
• 音声サンプルは公開されており、知覚的評価を可能にし、MOSテストプロセスを支援する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールディスクライマフレームワークは、生成器アーキテクチャに依存せずに、最近のGAN音声合成器の優れた性能を説明できるか？
• RQ2 軽量モデルから大規模モデルまで多様な生成器が、同じマルチスケールディスクライマと組み合わせることで同等の性能を達成できるか？
• RQ3 マルチスケールディスクライマは、波形、スペクトログラム、中間特徴など、さまざまな種類のターゲット表現に対して効果的か？
• RQ4 生成器の容量を増加させることで、MelGANや類似モデルが達成する水準をはるかに超える性能向上が得られるか、その程度はどの程度か？
• RQ5 アテンションモジュールや複雑な残差ブロックのようなアーキテクチャ的革新は、高音質音声合成に不可欠なのか、それともディスクライマが決定的要因なのか？

主な発見

• 6種類のGAN音声合成器は、生成器アーキテクチャに顕著な差異が見られるものの、GTおよびTTS音声合成タスクの両方においてMOSおよびMCDスコアで統計的に差がない性能を達成した。
• 元のHiFi-GAN生成器は、同じディスクライマと組み合わせた場合、より単純または軽量なモデルに劣らない性能を示した。これは、そのアーキテクチャそのものが優位性をもたらすわけではないことを示している。
• HiFi-GAN や PWGAN、提案モデルに含まれる軽量生成器は、VocGAN や UMGAN のような大規模モデルと同等の性能を発揮した。これは、容量の増加が性能向上に顕著な寄与をしないことを示唆している。
• MelGAN生成器は、かつてのシンプルな設計であったが、同じディスクライマと組み合わせることで、より最近で複雑なアーキテクチャと同等の性能を発揮した。
• マルチスケールディスクライマフレームワークは、波形、スペクトログラム、中間特徴など、さまざまなターゲット表現にわたって効果的に一般化した。これは、その堅牢性と汎用性を確認するものである。
• 結果から、GAN音声合成の核心的課題はディスクライマフレームワークによって解決されており、今後の向上には生成器アーキテクチャや損失関数の革新を超えたアプローチが求められる可能性がある。