[論文レビュー] MediumVC: Any-to-any voice conversion using synthetic specific-speaker speeches as intermedium features

Yewei Gu, Zhenyu Zhang+2 more|arXiv (Cornell University)|Oct 6, 2021

Speech Recognition and Synthesis参考文献 19被引用数 8

ひとこと要約

MediumVCは、合成特定話者音声（SSIF）を中間特徴として用いる二段階的任意対任意（A2A）音声変換フレームワークを提案する。A2Aは任意対1（A2O）と1対任意（O2A）の段階に分解される。SingleVCでは、ピッチシフトされながらも発話長が維持される（PSDR）データ拡張を導入し、A2O学習の耐障害性を向上させる。事前学習済みSingleVCを活用してSSIFを生成し、MediumVCが優れた類似性と自然さを達成する。特に未学習話者に対して顕著である。

ABSTRACT

To realize any-to-any (A2A) voice conversion (VC), most methods are to perform symmetric self-supervised reconstruction tasks (Xi to Xi), which usually results in inefficient performances due to inadequate feature decoupling, especially for unseen speakers. We propose a two-stage reconstruction task (Xi to Yi to Xi) using synthetic specific-speaker speeches as intermedium features, where A2A VC is divided into two stages: any-to-one (A2O) and one-to-Any (O2A). In the A2O stage, we propose a new A2O method: SingleVC, by employing a noval data augment strategy(pitch-shifted and duration-remained, PSDR) to accomplish Xi to Yi. In the O2A stage, MediumVC is proposed based on pre-trained SingleVC to conduct Yi to Xi. Through such asymmetrical reconstruction tasks (Xi to Yi in SingleVC and Yi to Xi in MediumVC), the models are to capture robust disentangled features purposefully. Experiments indicate MediumVC can enhance the similarity of converted speeches while maintaining a high degree of naturalness.

研究の動機と目的

• 対称的自己教師付きA2A音声変換における特徴の非効率的分離の課題、特に未学習話者に対しての一般化性能の低さを解決すること。
• 対称的再構成や離散的話者埋め込みに依存する既存のA2A手法の限界を克服し、一般化性能を向上させること。
• 合成特定話者音声（SSIF）を中間特徴として用いることで、コンテンツと話者情報をより効果的に分離する二段階フレームワークを構築すること。
• 合成データ拡張を活用した非対称再構成タスクにより、未学習話者に対する耐障害性と性能を向上させること。
• 合成話者固有特徴（SSIF）が従来の埋め込みよりもコンテンツと話者情報の分離および統合をより良く行えることを実証すること。

提案手法

• 二段階的A2A VCフレームワークを提案：まずSingleVCによる任意対1（A2O）、次にMediumVCによる1対任意（O2A）で、合成特定話者音声（SSIF）を中間特徴として用いる。
• A2O学習のための非対称なペaired訓練データを生成するための新しいデータ拡張戦略「ピッチシフトされながら発話長が維持される（PSDR）」を導入する。
• SingleVCでは、ピッチシフトされた入力を元の音声に再構成する自己教師付き再構成損失（L1）を用い、耐障害的なコンテンツ表現学習を促進する。
• バッチ正則化やレイヤー正則化に代えて、デコーダーに重み正則化（WN）を採用し、モデルの耐障害性を向上させる。
• 事前学習済みSingleVCを活用してSSIFを生成し、それをMediumVCにおけるO2A変換の間接的表現として用いる。
• 非対称再構成を適用：X_i → Ŷ_i（SingleVC）および Ŷ_i → X̂_i（MediumVC）とし、コンテンツと話者特徴の意図的な分離を実現する。

実験結果

リサーチクエスチョン

• RQ1 合成特定話者音声（SSIF）を中間特徴として用いる二段階的A2A音声変換フレームワークは、未学習話者への一般化性能において、対称的自己教師付き手法を上回ることができるか？
• RQ2 ピッチシフトされながら発話長が維持される（PSDR）データ拡張戦略は、言語的コンテンツを保持しつつ、効果的なA2O学習を可能にするか？
• RQ3 事前学習済みSingleVCが生成するSSIFを用いることで、O2A変換の類似性と自然さはどの程度向上するか？
• RQ4 非対称再構成タスク（X_i → Ŷ_i → X̂_i）は、対称的再構成と比較して、特徴分離をどの程度向上させるか？
• RQ5 SSIFに基づく特徴表現は、離散的話者埋め込みやWav2Vec 2.0ベースの特徴と比較して、A2A VC性能において優れているか？

主な発見

• MediumVCは、VCTKで自然さの平均評価スコア（MOS）が3.52、LibriSpeechで3.34を記録し、学習済みおよび未学習話者を問わず、FragmentVC、AutoVC、AdaIn-VCを上回る。
• 類似性の観点では、MediumVCはVCTKで3.82 MOS、LibriSpeechで3.25 MOSを達成し、未学習話者においてもAutoVC（3.21および3.21）やAdaIn-VC（3.04および3.07）を顕著に上回る。
• アブレーションスタディの結果、事前学習済みSingleVCを用いたMediumVC（Mw/S）は、未学習話者において特に顕著に、Mw/uS（未学習SingleVC）およびMw/oS（SingleVCなし）を上回る。これは、事前学習済みSSIFの重要性を確認する。
• 客観的評価では、VCTKで99.50%、LibriSpeechで98.79%のSV精度を達成し、強力な話者類似性と未学習話者に対する耐障害性を示している。
• 複数のデータセット（VCTK、LibriSpeech、VCC2020）で高い性能を維持しており、学習済み話者を超えた一般化性能を示している。
• 主な性能向上要因は、非対称再構成とSSIFによる耐障害的特徴分離であり、事前学習済み話者エンコーダーや離散的埋め込みとは無関係である。