[論文レビュー] VoiceGrad: Non-Parallel Any-to-Many Voice Conversion with Annealed Langevin Dynamics

Hirokazu Kameoka, Takuhiro Kaneko+3 more|arXiv (Cornell University)|Oct 6, 2020

Speech Recognition and Synthesis参考文献 56被引用数 9

ひとこと要約

VoiceGradは、非並列データを用いた任意対多数の音声変換手法を提案する。非並列学習データが不要な高精細音声変換を実現するため、冷却されたランジュバンダイナミクスとスコアマッチングを用いる。重み付きノイズ除去スコアマッチングによりU-Netベースのスコア近似器を学習し、入力特徴を繰り返し修正することでターゲット発話者分布に近づける。開集合評価において最先端の性能を達成し、発話者類似度と音声品質に優れる。

ABSTRACT

In this paper, we propose a non-parallel any-to-many voice conversion (VC) method termed VoiceGrad. Inspired by WaveGrad, a recently introduced novel waveform generation method, VoiceGrad is based upon the concepts of score matching and Langevin dynamics. It uses weighted denoising score matching to train a score approximator, a fully convolutional network with a U-Net structure designed to predict the gradient of the log density of the speech feature sequences of multiple speakers, and performs VC by using annealed Langevin dynamics to iteratively update an input feature sequence towards the nearest stationary point of the target distribution based on the trained score approximator network. Thanks to the nature of this concept, VoiceGrad enables any-to-many VC, a VC scenario in which the speaker of input speech can be arbitrary, and allows for non-parallel training, which requires no parallel utterances or transcriptions.

研究の動機と目的

• 並列発話データや発話者固有の微調整を必要としない、非並列的で任意対多数の音声変換手法の開発を目的とする。
• 開集合評価において未学習の発話者に適用された場合の非並列VC手法の一般化ギャップを解消することを目的とする。
• 冷却されたランジュバンダイナミクスを用いたスコアベース生成モデルを活用し、音声変換品質と発話者類似度を向上させることを目的とする。
• 音声認識やペアデータを一切使用せず、複数発話者の実際の音声特徴のみを用いてエンドツーエンドで学習可能であることを目的とする。
• 訓練データに含まれないソース発話者を対象としたゼロショット設定において、堅牢性と性能向上を示すことを目的とする。

提案手法

• 本手法は、複数発話者にわたる音声特徴系列のスコア（対数密度の勾配）を近似するため、完全畳み込み型U-Netネットワークを重み付きノイズ除去スコアマッチングにより学習する。
• 学習済みスコア近似器は、ターゲット発話者の分布の対数密度勾配を推定し、特徴の最適化をガイドする。
• 音声変換は冷却されたランジュバンダイナミクスにより実行され、入力特徴系列がターゲット分布の最近傍定常点へ繰り返し更新される。
• 冷却スケジュールにより、サンプリングプロセス中で徐々にノイズを低減することで収束性と音声品質が向上する。
• 本モデルは、複数発話者の非ペア実音声特徴を用いてエンドツーエンドで学習され、並列データや推論時の発話者埋め込みを必要としない。
• 本手法は任意のソース発話者をサポートし、再学習や適応なしに、学習済みの任意のターゲット発話者に変換可能である。

Figure 1: Network architecture of the score approximator with a U-Net-like fully convolutional structure. Here, the input and output of each layer are interpreted as images, where “h”, “w” and “c” denote the height, width and channel number, respectively. “Conv2d”, “BatchNorm”, “GLU”, “Deconv2d” den

実験結果

リサーチクエスチョン

• RQ1 スコアベース生成モデルは、並列学習データが存在しない状況でも高品質な非並列音声変換を達成できるか？
• RQ2 冷却されたランジュバンダイナミクスは、複数発話者環境下でターゲット発話者分布に向けた特徴系列の最適化を効果的にガイドできるか？
• RQ3 未学習のソース発話者を含む開集合評価において、本手法は既存の非並列VC手法よりも一般化性能に優れているか？
• RQ4 VAEベースおよびGANベースのベースラインと比較して、本手法の音声品質と発話者類似度の性能はどのように差がつくか？
• RQ5 発話者固有の適応なしに、1つの統合ネットワークで任意対多数の変換を実現できるか？

主な発見

• 開集合評価において、VoiceGradは全発話者ペairで7.55±0.05のMCDを達成し、すべてのベースラインを上回った。StarGAN-VC(W)が次に優れた性能を示したが、MCDは7.96±0.06であった。
• 本手法は、ベースライン手法と比較して、開集合評価における性能低下が著しく小さく、未学習発話者への一般化性能に優れていることが示された。
• 主観評価のMOSテストでは、VoiceGradは音声品質スコア3.85±0.12、発話者類似度スコア3.92±0.11を達成し、すべてのベースラインを上回った。VAE-VCおよびStarGAN-VC(C)と比較して顕著な向上が確認された。
• 開集合評価で7.55±0.05のMCDを達成し、次に優れた手法（StarGAN-VC(W)）の7.96±0.06よりも0.41ポイントの改善を示し、優れたロバスト性を示した。
• VoiceGradは、lnh→clb や lnh→bdl といった未学習の組み合わせに対しても強力な性能を維持し、MCDはそれぞれ6.75±0.08および7.21±0.17であった。
• 結果から、冷却されたランジュバンダイナミクスを用いたスコアベースモデリングが、並列データや明示的な発話者条件なしに、効果的で一般化可能な音声変換を実現可能であることが確認された。

Figure 2: Results of MOS test for speech quality in open-set scenario