[論文レビュー] Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder

Kei Akuzawa, Yusuke Iwasawa+1 more|arXiv (Cornell University)|Apr 6, 2018

Speech Recognition and Synthesis参考文献 24被引用数 14

ひとこと要約

本論文では、教師あり表現データを必要とせずに、話者ID や話し方スタイルなどのグローバルな音声特性をモデル化するため、変分オートエンコーダー（VAE）を自己回帰的音声合成モデル VoiceLoop に統合した新しいフレームワーク VAE-Loop を提案する。分散化された潜在空間を学習することで、表現の強さを無教師で制御可能となり、音声品質が向上し、VCTK では教師ありベースラインと同等の MOS スコアを達成、Blizzard2012 では潜在事前分布の分散を制約することで安定性が向上した。

ABSTRACT

Recent advances in neural autoregressive models have improve the performance of speech synthesis (SS). However, as they lack the ability to model global characteristics of speech (such as speaker individualities or speaking styles), particularly when these characteristics have not been labeled, making neural autoregressive SS systems more expressive is still an open issue. In this paper, we propose to combine VoiceLoop, an autoregressive SS model, with Variational Autoencoder (VAE). This approach, unlike traditional autoregressive SS systems, uses VAE to model the global characteristics explicitly, enabling the expressiveness of the synthesized speech to be controlled in an unsupervised manner. Experiments using the VCTK and Blizzard2012 datasets show the VAE helps VoiceLoop to generate higher quality speech and to control the expressions in its synthesized speech by incorporating global characteristics into the speech generating process.

研究の動機と目的

• 教師あり表現データに依存せずに自己回帰的音声合成モデルの表現力を向上させる課題に対処すること。
• エンドツーエンド音声合成において、話者ID や性別、話し方スタイルなどのグローバルな音声特性を無教師でモデル化すること。
• VAE を用いてグローバル特性の潜在表現を統合することで、自己回帰的モデルの音声品質と頑健性を向上させること。
• VAE から得られる潜在変数が、合成音声における異なる表現スタイルの間で制御可能かつ補間可能であることを示すこと。
• 実世界のデータセット（VCTK や Blizzard2012）を用いて、ゼロショットおよびセミスーパvised設定下での本手法の有効性を検証すること。

提案手法

• 本手法は、自己回帰的音声合成モデル VoiceLoop と変分オートエンコーダー（VAE）を組み合わせ、分散化された潜在空間でグローバルな音声特性をモデル化する。
• VAE は、生の音声から潜在変数の事後分布を学習し、話者ID やプロソディといったグローバル属性をコンパクトで連続的な表現にエンコードする。
• 推論時、潜在変数 z は事前分布 p(z) = N(0, σ²I) からサンプリングされ、σ を変更することで表現特性を制御可能となり、z ベクトル間の補間も可能となる。
• VoiceLoop は、サンプリングされた z を条件付きコンテキストとして用い、スタイルに配慮した音響特徴の自己回帰的生成を実現する。
• 本モデルは、再構成損失（MSE）と VAE からの KL 散布度を組み合わせた統合損失を用いてエンドツーエンドで学習され、品質と分解能の両立が保証される。
• 本手法により、潜在表現間の補間が可能となり、周波数や感情のトーンといった中間的な表現特性を持つ音声の生成が可能となる。

実験結果

リサーチクエスチョン

• RQ1 VAE を用いて、教師ありデータなしでグローバルな音声特性を効果的に無教師でモデル化できるか？
• RQ2 VAE で学習した潜在変数を統合することで、教師あり表現データなしに自己回帰的音声合成の品質と安定性が向上するか？
• RQ3 VAE で学習した潜在空間を用いて、異なる話し方スタイルや話者ID を制御・補間可能か？
• RQ4 潜在変数の事前分布の分散が、合成音声の明瞭性と品質にどのように影響するか？
• RQ5 本手法は、教師ありモデルの性能にどの程度まで達するか、あるいはそれを上回るか？

主な発見

• VCTK データセットでは、VAE-Loop が平均意見スコア（MOS）3.25 ± 0.29 を達成し、話者ラベル付き VoiceLoop と同等の性能を示し、ラベルなしベースラインを上回った。
• Blizzard2012 データセットでは、事前分布の分散を低減（σ = 0.7）することで MOS が 2.89 ± 0.32 に向上し、ベースラインを上回り、不明瞭な音声生成が減少した。
• 2つの z ベクトル間の潜在変数補間により、中間的な F0 プロファイルが得られ、異なる話し方スタイルや話者特性の滑らかな補間が可能であることを実証した。
• ラベルなし条件下でも、VAE-Loop はベースラインの VoiceLoop よりも高品質な音声を生成した。これは、VAE によって学習されたグローバル特性が自己回帰的生成プロセスを向上させることを示している。
• 特に事前分布の分散を制約した場合、不明瞭な出力（例：息漏れ音や繰り返し発話）の発生が著しく減少した。
• 異なる z 値に対する F0 プロファイルは、明確に異なるピッチパターン（例：高音質の女性声や低音質の男性声）を示しており、潜在空間が表現的属性を適切に分離していることを確認した。