[論文レビュー] Voice Conversion from Unaligned Corpora using Variational Autoencoding Wasserstein Generative Adversarial Networks

Chin-Cheng Hsu, Hsin-Te Hwang+3 more|arXiv (Cornell University)|Apr 4, 2017

Speech Recognition and Synthesis参考文献 17被引用数 153

ひとこと要約

この論文は、フレームアライメントなしで対象音声を合成する条件付き変分オートエンコーダ(C-VAE)とWasserstein GAN(W-GAN)を組み合わせた非並列音声変換フレームワークを提案します。 VAW-GANの目的を用いてVC lossを直接最適化し、ベースラインVAEよりもより現実的なスペクトルを得ます。

ABSTRACT

Building a voice conversion (VC) system from non-parallel speech corpora is challenging but highly valuable in real application scenarios. In most situations, the source and the target speakers do not repeat the same texts or they may even speak different languages. In this case, one possible, although indirect, solution is to build a generative model for speech. Generative models focus on explaining the observations with latent variables instead of learning a pairwise transformation function, thereby bypassing the requirement of speech frame alignment. In this paper, we propose a non-parallel VC framework with a variational autoencoding Wasserstein generative adversarial network (VAW-GAN) that explicitly considers a VC objective when building the speech model. Experimental results corroborate the capability of our framework for building a VC system from unaligned data, and demonstrate improved conversion quality.

研究の動機と目的

• 並列と非並列の音声変換のギャップを埋め、フレームアライメントを必要としない統一的な生成音声モデルを学習する。
• 話者に依存しないエンコーダーで音素内容を推定しつつ、生成は話者表現で条件付ける。
• VAEフレームワークに統合されたWasserstein GAN目的を用いて、VCの品質を直接最適化する。

提案手法

• 話者依存のデコーダを持つ条件付きVAEとしてVCを定式化し、潜在的内容zと話者表現yを組み合わせて音声を再構成または変換する。
• 判別器を用いて実スペクトルと生成スペクトルを識別するGAN目的を取り入れ、C-VAEを強化する（VAE-GANのアイデア）。
• 真のターゲット分布と変換分布の距離を明示的に最小化する1-リプシッツ判別器を介してWasserstein距離目的を採用する。
• KL発散、再構成損失、W-GAN損失（J_vawgan）を含む目的で、エンコーダー、合成器、判別器を交互最適化方式で同時訓練する。
• フレームアライメントや後処理フィルタリングを用いず、1フレームごとのスペクトル特徴量（STRAIGHT SP、AP、F0）を、学習時に埋め込まれるワンホットベクトルとして話者表現を生成時に学習する。

実験結果

リサーチクエスチョン

• RQ1 フレームアライメントなしの統一深層生成モデルによって、非並列音声変換は効果的に実現できるか。
• RQ2 VAEフレームワークにWasserstein GAN目的を組み込むと、基準のVAEと比べて変換音声の自然さとスペクトルリアリズムは改善されるか。
• RQ3 VC損失を直接最適化することは、変換音声の分散とスペクトル構造にどのような影響を与えるか。
• RQ4 話者条件付き合成器を用いることは、話者間変換品質にどのような影響を与えるか。

主な発見

• VAW-GANは、 inter-および intra-gender変換において、人間の主観的自然さ（MOS）でVAEベースラインを上回る。
• VAE-GANからの変換スペクトルフレームは、より豊かなスペクトル包絡と顕著な周波数構造を示し、声の明瞭さに寄与する。
• VAW-GANの出力はスペクトル分散が高く、モデルがVAEほど予測を平均へ収束させないことを示唆する。
• フレームごとの非並列VCは、条件付き生成器とW-GAN目的を用いることで実現可能で、通常のVAEアプローチよりも知覚品質を改善する。
• 話者類似度指標は明確な改善を示さず、単一のグローバル話者表現が話者特性を捉えるには限界がある可能性を示す。