[論文レビュー] Probability density distillation with generative adversarial networks for high-quality parallel waveform generation

Ryuichi Yamamoto, Eunwoo Song+1 more|arXiv (Cornell University)|Apr 9, 2019

Speech and Audio Processing参考文献 31被引用数 15

ひとこと要約

本稿では、WaveNetに基づく並列波形生成のためのGANベースの確率密度蒸留（PDD）手法を提案する。逆自己回帰フロー（IAF）を学生モデルとして用い、従来のPDDに加えてGANジェネレータとしての訓練を実施することで、音声品質を向上させる。この手法は優れた知覚的品質を達成し、MOSが4.186を記録し、自己回帰的教師WaveNetでさえも上回った。

ABSTRACT

This paper proposes an effective probability density distillation (PDD) algorithm for WaveNet-based parallel waveform generation (PWG) systems. Recently proposed teacher-student frameworks in the PWG system have successfully achieved a real-time generation of speech signals. However, the difficulties optimizing the PDD criteria without auxiliary losses result in quality degradation of synthesized speech. To generate more natural speech signals within the teacher-student framework, we propose a novel optimization criterion based on generative adversarial networks (GANs). In the proposed method, the inverse autoregressive flow-based student model is incorporated as a generator in the GAN framework, and jointly optimized by the PDD mechanism with the proposed adversarial learning method. As this process encourages the student to model the distribution of realistic speech waveform, the perceptual quality of the synthesized speech becomes much more natural. Our experimental results verify that the PWG systems with the proposed method outperform both those using conventional approaches, and also autoregressive generation systems with a well-trained teacher WaveNet.

研究の動機と目的

• 教師-学生フレームワークを用いて、並列波形生成（PWG）システムの知覚的品質を向上させること。
• 従来のPDD手法の限界、すなわちKullback-Leibler散発（KLD）最小化による教師の品質を超えることができない点を是正すること。
• 生成的敵対的ネットワーク（GAN）の分布モデリング能力を活用し、合成音声の現実性を向上させること。
• PDD、補助損失、敵対的訓練を統合して最適化することで、サンプルレベルの現実性を向上させた学生モデルを共同最適化すること。

提案手法

• 並列かつリアルタイムな音声波形生成を可能とするために、逆自己回帰フロー（IAF）モデルを学生ネットワークとして用いる。
• IAF学生モデルをGANフレームワークのジェネレータとして統合し、自然な音声波形の分布をモデル化するための新しい敵対的損失を用いて訓練する。
• 学生モデルは3つの要素を統合して最適化される：KLDに基づくPDD、フレームレベルのSTFT損失（補助損失）、GANに基づく敵対的損失。
• 損失関数は、KLD、STFT損失、敵対的損失を学習可能な重み係数で組み合わせ、分布一致、スペクトル忠実性、知覚的リアリズムのバランスを取る。
• 訓練プロセスはKLDの完全な指導から開始され、訓練が進むにつれてKLDの重みを徐々に減少させることで、学生が教師の分布を超えて探索できるようにする。
• 本手法により、GANの複雑で現実的な音声分布のモデリング能力を活用することで、学生が知覚的品質で教師を上回ることが可能になった。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練により、IAFに基づく並列波形生成の知覚的品質を教師WaveNetを上回らせることが可能か？
• RQ2 GANベースの敵対的損失を従来のPDDおよび補助損失と組み合わせることで、音声合成品質にどのような影響を与えるか？
• RQ3 非自己回帰的IAF学生モデルが、共同最適化によって自己回帰的教師WaveNetを上回る知覚的品質を達成できるか？
• RQ4 訓練目的におけるKLD蒸留、スペクトル損失、敵対的損失の最適なバランスは何か？

主な発見

• 提案手法KLAXADは、平均意見評価（MOS）が4.186に達し、従来のPDD手法および自己回帰的教師WaveNetを著しく上回った。
• A/B/X好みテストの結果、重み最適化版（KLAXAD*）が元のKLAXAD設定よりも優れた知覚的品質を示した。
• 補助損失のみで訓練されたIAF学生（AX）は最も悪く、高品質な合成にPDDおよび敵対的訓練の必要性が浮き彫りになった。
• KLD蒸留、STFT損失、敵対的損失の組み合わせにより、知覚的品質が著しく向上し、学生モデルがMOSにおいて教師を上回った。
• 訓練中にKLD重み係数を低減させることで、より自然な音声が生成された。これは、教師の分布に過度に依存すると品質が制限されることを示唆している。
• 結果から、GANベースの敵対的訓練が、高品質な教師モデルから蒸留された非自己回帰的音声生成においても、現実性を効果的に向上させられると示された。