[論文レビュー] Diffusion-Based Voice Conversion with Fast Maximum Likelihood Sampling Scheme

Popov Va, Ivan Vovk+4 more|arXiv (Cornell University)|Sep 28, 2021

Speech Recognition and Synthesis参考文献 36被引用数 25

ひとこと要約

この論文は、リトレーニングなしで最大六回の逆拡散ステップだけで高品質なVCを実現する新しい最大似然SDEサンプリング方式を用いた拡散ベースのワンショット多対多の音声変換システムを提案します。

ABSTRACT

Voice conversion is a common speech synthesis task which can be solved in different ways depending on a particular real-world scenario. The most challenging one often referred to as one-shot many-to-many voice conversion consists in copying the target voice from only one reference utterance in the most general case when both source and target speakers do not belong to the training dataset. We present a scalable high-quality solution based on diffusion probabilistic modeling and demonstrate its superior quality compared to state-of-the-art one-shot voice conversion approaches. Moreover, focusing on real-time applications, we investigate general principles which can make diffusion models faster while keeping synthesis quality at a high level. As a result, we develop a novel Stochastic Differential Equations solver suitable for various diffusion model types and generative tasks as shown through empirical studies and justify it by theoretical analysis.

研究の動機と目的

• 未知話者に対するワンショット多対多音声変換の課題に取り組む。
• 平均的な声の表現を生成するエンコーダを備えた拡散確率モデルを提案する。
• 拡散モデルのタイプを問わず機能する高速で尤度ベースのSDEサンプリング方式を開発する。
• VCTKとLibriTTSで最先端VCベースラインと競争力のある性能を示す。
• 品質と速度のバランスを取るための条件付け戦略とサンプリング方式を分析する。

提案手法

• 入力メルスペクトログラムを平均声を表す平均音素レベルのメル特徴量へ写像するエンコーダを用いる。
• Forward (F) および reverse (R) 動力学を持つItô SDEs でパラメータ化された拡散デコーダを用いてターゲットのメルスペクトログラムを生成する。
• 逆拡散をターゲット話者に条件付けするため、訓練可能なネットワーク g_t(Y) を介して入力タイプを (d-only, wodyn, whole) で実験する。
• p_t(X_t|X_0) のスコアと前方拡散統計量に由来する加重L2損失を最小化してスコアベースの逆過程を訓練する。
• 小さなステップ数でパス尤度を最大化するために、理論的に導出された最適パラメータ (kappa*, omega*, sigma*) を持つ固定ステップ最大尤度逆SDEソルバ（ML-SDE）を導入する。
• HiFi-GAN vocoder を用いた Diff-VCTK および Diff-LibriTTS を評価し、最先端のワンショット VC ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースのフレームワークは、未知の話者に対して競争力のあるワンショット多対多音声変換を達成できるか？
• RQ2 品質を保ちながら再訓練をせずに拡散モデルのサンプリングをどのように加速できるか？
• RQ3 話者埋め込みとノイズの多いターゲットメルスペクトログラムの両方で条件付けすることはVC性能を向上させるか？
• RQ4 最大尤然値SDEソルバは、拡散モデルタイプ全体で標準のソルバ（EM、PF）とどのように比較されるか？

主な発見

• 提案された Diff-VCTK および Diff-LibriTTS モデルは、未知→未知の変換でいくつかのベースラインより主観的な自然さと話者類似度が高い。
• wodyn 条件付け（話者埋め込みとノイズの多いターゲットメルスペクトログラム）を使用すると、他の条件付け入力より知覚的類似度が向上する。
• 6ステップ程度の逆拡散で競争力の MOS を達成し、より多くのステップ法と比べて自然さ約0.2、類似度約0.1の小さな劣化を伴う最大尤度サンプリング方式（ML-N、ML-30）。
• LibriTTS では、Diff-LibriTTS-ML-30 が全テストセットで自然さ MOS ≈4.0、類似度 ≈3.39 を達成し、自然さで BNE-PPG-VC ベースラインを上回り、類似度はそれに近づく。
• 提案された ML サンプリング方式はサンプリング効率を大幅に向上させ、6ステップで GPU 上のリアルタイムファクター約0.1 を達成できる（30ステップは約0.5）。
• MLサンプラーは他の拡散モデルタイプやタスク（例：CIFAR-10 画像生成）にも一般化され、確率的サンプリングの改善をもたらす。