[論文レビュー] Parallel WaveNet conditioned on VAE latent vectors

Jonas Rohnke, Thomas Merritt+5 more|arXiv (Cornell University)|Dec 17, 2020

Speech Recognition and Synthesis参考文献 22被引用数 4

ひとこと要約

本稿では、予測されたメルスペクトログ램から音声合成品質を向上させるために、事前学習済みVAEから得られる潜在ベクトルでParallel WaveNet音声生成器を条件づける手法を提案する。トレーニング時に発話レベルのVAE潜在変数を用いることで、自然な音声をよりよく再構成できるようになり、推論時の遅延を追加せずに統計的に有意な品質向上が達成された。これは、推論時にも同じ固定平均ベクトルを用いることで可能である。

ABSTRACT

Recently the state-of-the-art text-to-speech synthesis systems have shifted to a two-model approach: a sequence-to-sequence model to predict a representation of speech (typically mel-spectrograms), followed by a 'neural vocoder' model which produces the time-domain speech waveform from this intermediate speech representation. This approach is capable of synthesizing speech that is confusable with natural speech recordings. However, the inference speed of neural vocoder approaches represents a major obstacle for deploying this technology for commercial applications. Parallel WaveNet is one approach which has been developed to address this issue, trading off some synthesis quality for significantly faster inference speed. In this paper we investigate the use of a sentence-level conditioning vector to improve the signal quality of a Parallel WaveNet neural vocoder. We condition the neural vocoder with the latent vector from a pre-trained VAE component of a Tacotron 2-style sequence-to-sequence model. With this, we are able to significantly improve the quality of vocoded speech.

研究の動機と目的

• 予測されたメルスペクトログラムから音声を合成する際の音声生成器の信号品質を向上させること。予測誤差により、通常は自然な音声と乖離するため。
• 特にリアルタイム商業用TTSアプリケーションを想定した、推論速度と音声品質のトレードオフを解消すること。
• VAE潜在ベクトルによるグローバル条件づけが、音声生成プロセスにおいて予測スペクトログラムと自然なスペクトログラムのギャップを埋めるかを検証すること。
• 推論時の条件づけベクトル計算を推論時とは分離することで、追加の遅延なしに高品質な推論を可能にすること。

提案手法

• Tacotron 2スタイルのシステムにおいて、事前学習済みVAEエンコーダーから抽出した発話レベルの潜在ベクトルでParallel WaveNet音声生成器を条件づける。
• 教師・生徒蒸留フレームワークを採用：教師として完全な自己回帰的WaveNetを学習し、その後、逆自己回帰流れ（IAFs）を用いてその出力分布を学生モデルに蒸留することで、並列推論を実現する。
• 学生モデルを、メルスペクトログラムとVAE潜在ベクトルの両方に条件づけられたIAFアフィンパラメータを予測するように学習させ、スペクトログラムとグローバルコンテンツ表現の共同モデリングを可能にする。
• トレーニング時に音声モデルのリファレンスエンコーダーからVAE潜在ベクトルを抽出し、音声生成器がより自然な波形へと導く追加の条件づけ信号として用いる。
• 推論時、動的なVAEベクトル計算を、トレーニング分布からの固定平均ベクトルに置き換えることで、追加の遅延なしに高品質な出力を維持する。
• 主成分分析（PCA）の可視化とMUSHRAテストを用いて、異なる潜在ベクトルが合成品質に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 予測されたメルスペクトログラムから音声を合成する際、VAE潜在ベクトルでParallel WaveNet音声生成器を条件づけることで、音声品質が顕著に向上するか？
• RQ2 推論時の潜在ベクトルの選択が品質に影響を与えるか。あるいは、トレーニング分布の平均のような固定代表ベクトルを用いても性能に損なわれないか？
• RQ3 潜在ベクトルがトレーニング分布から大きく外れた場合、モデルは不安定になるか？
• RQ4 この条件づけ手法は、話者・スタイルに一般化可能なユニバーサル音声生成器にも適用可能か？
• RQ5 VAE部の事前学習は必須か。あるいは、音声生成器と同時にグローバル表現を共同で学習可能か？

主な発見

• VAE潜在ベクトルでParallel WaveNet音声生成器を条件づけることで、MUSHRAスコアに統計的に有意な向上が得られ、ベースライン比1〜1.5ポイントの向上を達成した。
• ベースラインとVAE条件づけシステムの間のt検定のp値は0.05未満であり、品質向上が統計的に有意であることを裏付けた。
• 異なる潜在ベクトルで条件づけたシステム間でMUSHRAスコアの差は有意ではなく（p > 0.05）、推論時に使用する具体的なベクトルが重要でないことが示された。ただし、トレーニング分布内に位置する限り。
• トレーニング分布から大きく外れた潜在ベクトルで条件づけた場合、モデルはノイズしか出力しなくなり、モデルが分布外入力に対して感受性が高いことが明らかになった。
• 固定平均ベクトルをトレーニング分布から事前に取得することで、推論時の遅延を追加せずに合成品質が向上した。
• 結果から、VAE潜在ベクトルが、特に表現力のある声の合成において、モデル出力を自然な音声空間に一致させるグローバル事前分布として機能していることが示唆された。