[論文レビュー] FloWaveNet : A Generative Flow for Raw Audio

Sungwon Kim, Sang-gil Lee+3 more|arXiv (Cornell University)|Nov 6, 2018

Music and Audio Processing参考文献 17被引用数 30

ひとこと要約

FloWaveNet は、教師ネットワークや補助損失項を必要とせず、最大尤度損失のみを用いた単一ステージの学習手順により、リアルタイムで並列な波形生成を可能にする、生の音声波形合成のためのフローに基づく生成モデルである。これは、Parallel WaveNet や ClariNet と同等の音声品質を達成しながら、学習の簡略化と安定性の向上を実現する。

ABSTRACT

Most modern text-to-speech architectures use a WaveNet vocoder for synthesizing high-fidelity waveform audio, but there have been limitations, such as high inference time, in its practical application due to its ancestral sampling scheme. The recently suggested Parallel WaveNet and ClariNet have achieved real-time audio synthesis capability by incorporating inverse autoregressive flow for parallel sampling. However, these approaches require a two-stage training pipeline with a well-trained teacher network and can only produce natural sound by using probability distillation along with auxiliary loss terms. We propose FloWaveNet, a flow-based generative model for raw audio synthesis. FloWaveNet requires only a single-stage training procedure and a single maximum likelihood loss, without any additional auxiliary terms, and it is inherently parallel due to the characteristics of generative flow. The model can efficiently sample raw audio in real-time, with clarity comparable to previous two-stage parallel models. The code and samples for all models, including our FloWaveNet, are publicly available.

研究の動機と目的

• リアルタイム音声合成における自己回帰的 WaveNet の高い推論時間と複雑な学習パイプラインの問題に対処すること。
• Parallel WaveNet や ClariNet のような二段階並列モデルが、現実的で高品質な音声を得るために事前学習済みの教師ネットワークと補助損失項を必要とすることの制限を克服すること。
• 単一の最大尤度目的関数のみを用いて、並列でエンドツーエンドの学習が可能なフローに基づく生成モデルを開発すること。
• 最先端の二段階モデルと同等の音声忠実度を達成すると同時に、学習の簡略化と安定性の向上を実現すること。

提案手法

• FloWaveNet は、生の音声波形の確率分布をモデル化するためにノーマライジングフローを採用し、シーケンス長に依存しない並列サンプリングを可能にする。
• 学習中に唯一の最大尤度損失を用いることで、確率の蒸留や補助損失の必要性を排除する。
• 正確な尤度計算と効率的なサンプリングを保証するため、可逆なカップリング層とカップリングフローを活用する。
• 因果的畳み込み層の代わりに非因果的畳み込み層を採用することで、メルスペクトログ램の条件から双方向の文脈モデリングを可能にする。
• エンドツーエンドの単一ステージで学習を行うことで、事前学習済みの教師ネットワークの必要性を排除する。
• テキスト到音声システムにおける WaveNet ボコーダーの即時置き換えとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 フローに基づく生成モデルは、二段階の学習パイプラインや補助損失項を必要とせず、リアルタイムで高精細な生の音声波形合成を達成できるか？
• RQ2 単一ステージのフローに基づくモデルは、Parallel WaveNet や ClariNet のような二段階並列モデルと比較して、音声品質と学習安定性の面でどのように異なるか？
• RQ3 畳み込み層における因果性の有無が、フローに基づく音声合成における最終的な音声品質に与える影響は何か？
• RQ4 最大尤度損失のみで学習されたフローに基づくモデルは、二段階モデルと同等の知覚的品質を達成できるか？
• RQ5 二段階モデルにおける異なる損失項（KLダイバージェンス vs. スペクトログラムフレーム損失）は音声品質にどのような役割を果たし、なぜそれらが必要なのか？

主な発見

• 非因果的モードでは FloWaveNet が平均評価得点（MOS）3.95 ± 0.154 を達成し、因果的バージョン（3.36 ± 0.134）を顕著に上回り、双方向文脈の利点を示している。
• 非因果的バージョンの FloWaveNet は、メルスペクトログラムの条件から前向きおよび後向きの文脈を活用することで、より高品質な音声を生成する。
• KLダイバージェンス損失のみで学習すると、モード崩壊が発生し、低エネルギーで歪んだ音声が生成されるが、KLダイバージェンスが最小化されても同様の問題が生じる。
• スペクトログラムフレーム損失のみで学習されたガウス型 IAF モデルは、ノイズが多く不安定なサンプルを生成し、学習が進んでも劣化が改善されないため、両損失項の組み合わせの必要性が示された。
• 二段階モデルでは、KLダイバージェンスとフレーム損失の両方の組み合わせが、現実的で高品質な音声を生成するために不可欠である。両方の項を別々に使用しても高精細な出力は得られない。
• 提案されたガウス型 IAF のオープンソース実装は、既存の公開実装を上回る性能を発揮しており、学習設定の有効性を裏付けている。