[論文レビュー] ACVAE-VC: Non-parallel many-to-many voice conversion with auxiliary classifier variational autoencoder

Hirokazu Kameoka, Takuhiro Kaneko+2 more|arXiv (Cornell University)|Aug 13, 2018

Speech Recognition and Synthesis参考文献 40被引用数 48

ひとこと要約

ACVAE-VCは、完全畳み込みのエンコーダ/デコーダ、情報理論的正規化、およびスペクトルのディテール移植を用いた Auxiliary Classifier VAE に基づく非並列の多対多音声変換法を導入し、品質と話者類似性を改善します。

ABSTRACT

This paper proposes a non-parallel many-to-many voice conversion (VC) method using a variant of the conditional variational autoencoder (VAE) called an auxiliary classifier VAE (ACVAE). The proposed method has three key features. First, it adopts fully convolutional architectures to construct the encoder and decoder networks so that the networks can learn conversion rules that capture time dependencies in the acoustic feature sequences of source and target speech. Second, it uses an information-theoretic regularization for the model training to ensure that the information in the attribute class label will not be lost in the conversion process. With regular CVAEs, the encoder and decoder are free to ignore the attribute class label input. This can be problematic since in such a situation, the attribute class label will have little effect on controlling the voice characteristics of input speech at test time. Such situations can be avoided by introducing an auxiliary classifier and training the encoder and decoder so that the attribute classes of the decoder outputs are correctly predicted by the classifier. Third, it avoids producing buzzy-sounding speech at test time by simply transplanting the spectral details of the input speech into its converted version. Subjective evaluation experiments revealed that this simple method worked reasonably well in a non-parallel many-to-many speaker identity conversion task.

研究の動機と目的

• 非 transcripts や時間合わせなしで、未整合データを扱える非並列・多対多VC手法を動機づける。
• Auxiliary classifier 正則化を通じて属性情報を保持する CVAE ベースの VC フレームワークを開発する。
• 過平滑化を避けるため、スペクトルのディテールを変換後の出力へ移植して音声自然度を向上させる。
• 完全畳み込みアーキテクチャを用いて、音響特徴の時間依存性を捉える。
• 主観評価で VAE-GAN のベースラインを上回る実用的な非並列VCソリューションを提供する。

提案手法

• 音響特徴シーケンスをフレーム単位ではなく、完全畳み込みのエンコーダ・潜在空間・デコーダで処理する。
• 属性ラベル c が出力に影響することを保証するため、変分情報最大化目的を持つ Auxiliary Classifier を導入する。
• 情報理論的正規化を採用し、auxiliary classifier rψ(c|x) を介して I(c; x|z) の下限を最大化する。
• Gaussian デコーダ出力だけに頼るのではなく、入力話者のスペクトル詳細を変換出力へ移植することで過平滑化を回避する。
• WORLD スペクトル包絡線から導出されたメルケプストラム係数を、WORLD ボコーダを用いたスペクトルディテール移植アプローチで変換する。
• エンコーダ・デコーダ・auxiliary classifier に対して、可変長シーケンスを扱える完全畳み込みゲート付きCNNアーキテクチャを実装する。

実験結果

リサーチクエスチョン

• RQ1 非並列データを用いた ACVAE フレームワークで、非並列・多対多の音声変換を効果的に学習できるか。
• RQ2 auxiliary classifier と情報理論的正規化を組み込むことで、生成音声における属性制御（c）を保持できるか。
• RQ3 スペクトルディテールの移植は過平滑化を抑制し、VAE-GAN ベースのアプローチと比べて知覚品質を改善するか。
• RQ4 完全畳み込みネットワークは音響特徴シーケンスの時間的依存性をVCタスクで捉えるか。
• RQ5 ACVAE-VC は、基準手法と比較した際の音質と話者類似性の主観評価でどの程度性能を示すか。

主な発見

• 主観的 AB および ABX テストで、ACVAE-VC は非並列多対多VC の音質と話者類似性で VAE-GAN ベースラインを上回る。
• デコーダのみに依存するのではなく、スペクトルディテールを転送することで知覚的品質が向上する。
• auxiliary classifier 正則化 を通じてターゲット属性の制御を維持し、vanilla CVAE で問題となる c が無視される問題に対処する。
• 完全畳み込みアーキテクチャは音響特徴シーケンスの時間依存性を学習させ、変換のリアリズムを向上させる。
• 提案手法は、複数の話者アイデンティティと四次元のターゲット/ソース構成を報告された設定で非並列コーパス上でも機能する。