[論文レビュー] Non-Parallel Voice Conversion with Cyclic Variational Autoencoder

Patrick Lumban Tobing, Yi-Chiao Wu+3 more|arXiv (Cornell University)|Jul 24, 2019

Speech Recognition and Synthesis参考文献 35被引用数 13

ひとこと要約

本稿では、非ペア音声変換のためのCycleVAEベースのフレームワークを提案する。VAEベースの音声変換の性能を向上させるために、サイクル整合性を持つフローを導入し、変換されたスペクトルを再びモデルにフィードバックすることで、最適化可能なサイクル再構成を実現する。この手法により、スペクトルの正確性が向上し、潜在的特徴の相関性が向上し、特に困難な異性間設定において顕著に優れた音声品質と変換精度が達成された。

ABSTRACT

In this paper, we present a novel technique for a non-parallel voice conversion (VC) with the use of cyclic variational autoencoder (CycleVAE)-based spectral modeling. In a variational autoencoder(VAE) framework, a latent space, usually with a Gaussian prior, is used to encode a set of input features. In a VAE-based VC, the encoded latent features are fed into a decoder, along with speaker-coding features, to generate estimated spectra with either the original speaker identity (reconstructed) or another speaker identity (converted). Due to the non-parallel modeling condition, the converted spectra can not be directly optimized, which heavily degrades the performance of a VAE-based VC. In this work, to overcome this problem, we propose to use CycleVAE-based spectral model that indirectly optimizes the conversion flow by recycling the converted features back into the system to obtain corresponding cyclic reconstructed spectra that can be directly optimized. The cyclic flow can be continued by using the cyclic reconstructed features as input for the next cycle. The experimental results demonstrate the effectiveness of the proposed CycleVAE-based VC, which yields higher accuracy of converted spectra, generates latent features with higher correlation degree, and significantly improves the quality and conversion accuracy of the converted speech.

研究の動機と目的

• 変換されたスペクトルに対する直接的な最適化が欠如していることによる非ペア音声変換の性能低下を是正すること。
• 従来のVAEベースのVCでは再構成スペクトルのみを最適化しており、変換スペクトルは最適化されないという制限を克服すること。
• 潜在空間における話者IDと音素的コンテンツの分離を向上させ、変換精度を向上させること。
• 特に異性間のような話者間の相違が顕著な状況でも、頑健な音声変換を可能にすること。
• 限られたペアデータしか利用できない実世界の応用に適した、データ駆動型の非ペアVCフレームワークを構築すること。

提案手法

• 変換されたスペクトルを再びモデルにフィードバックすることで、サイクル整合性を持つフローを導入するCycleVAEベースのアーキテクチャを提案する。
• 再利用された変換特徴を入力として用い、サイクル再構成スペクトルを生成し、訓練中に直接最適化する。
• サイクル再構成スペクトルにおける再構成損失と潜在空間における正則化を用いてモデルを訓練する。
• 話者コード特徴を潜在コードと統合し、再構成（元の話者）および変換（ターゲット話者）スペクトルの両方を生成する。
• サイクル再構成スペクトルを次のサイクルの入力として用いることで、反復的サイクリングを可能にし、マッピングフローの整合性を強化する。
• 変分オートエンコーダーの潜在空間にガウス事前分布を用い、話者間で共通する音素的属性をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 サイクル整合性のあるフィードバックは、非ペア音声変換における変換スペクトルの最適化を改善できるか？
• RQ2 CycleVAEフレームワークは、異なる話者の潜在特徴間の相関性を高め、音素的コンテンツのより良い分離を示すか？
• RQ3 異性間音声変換において、提案手法はどの程度の性能を示すか？（話者差が最も顕著に現れる状況）
• RQ4 サイクル再構成損失は、従来のVAEベースのVCと比較して、より高いスペクトル正確性と改善された音声品質をもたらすか？
• RQ5 サイクル整合性のあるフローは、非ペア音声変換におけるペアデータ依存度をどの程度低減できるか？

主な発見

• 選好テストにおいて、提案されたCycleVAEベースのVCは、従来のVAEと比較して顕著に高い知覚的品質を達成し、59.17％の被験者がCycleVAEの出力を好んだ（p = 6.01e-05）。
• 異性間変換では、CycleVAEが70.83％の支持を得て、VAEの29.17％を上回った（p = 1.18e-10）ことから、困難な状況下でも顕著な向上が確認された。
• 全カテゴリを通じて、話者類似度の認識において、61.00％の被験者がCycleVAEの出力をVAEの39.00％に対して好んだ（p = 1.11e-05）。
• コサイン類似度解析により、CycleVAEは元話者とターゲット話者間の潜在特徴に高い相関性を生み出すことが示され、音素空間におけるより良いアライメントを示唆した。
• 客観的指標により、より高いスペクトル正確性と潜在空間の分離性の向上が確認され、とくに遠距離話者ペアにおいて顕著な利点が得られた。
• サイクル再構成機構により、変換フローの間接的最適化が成功し、非ペア学習における主な制限要因を克服した。