[論文レビュー] FreeVC: Towards High-Quality Text-Free One-Shot Voice Conversion

Jingyi li, Weiping tu+1 more|arXiv (Cornell University)|Oct 27, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

FreeVCは、高精度な波形再構成のためのVITSを活用し、テキストアノテーションを必要とせず、自己教師ありのWavLM特徴量ボトルネックを用いてコンテンツと話者情報を分離する、テキストフリーでワンショットの音声変換システムを提案する。スペクトログラムリサイズのデータ拡張を導入することで、コンテンツの純度を向上させ、自然さと言語的整合性においてテキストベースのモデルを上回り、低品質な入力に対しても頑健性を維持する。

ABSTRACT

Voice conversion (VC) can be achieved by first extracting source content information and target speaker information, and then reconstructing waveform with these information. However, current approaches normally either extract dirty content information with speaker information leaked in, or demand a large amount of annotated data for training. Besides, the quality of reconstructed waveform can be degraded by the mismatch between conversion model and vocoder. In this paper, we adopt the end-to-end framework of VITS for high-quality waveform reconstruction, and propose strategies for clean content information extraction without text annotation. We disentangle content information by imposing an information bottleneck to WavLM features, and propose the spectrogram-resize based data augmentation to improve the purity of extracted content information. Experimental results show that the proposed method outperforms the latest VC models trained with annotated data and has greater robustness.

研究の動機と目的

• テキストアノテーションや大規模なラベル付きデータを必要としない、テキストフリーでワンショットの音声変換システムの開発。
• 自己教師あり表現におけるコンテンツと話者情報の分離を向上させ、コンテンツ特徴量における話者漏れを低減すること。
• ワンステージのVITSフレームワークにより変換モデルと音声生成器（ボコーラー）を統合することで、波形再構成の品質を向上させること。
• データ拡張とモデル設計を通じて、低品質な元音声および未知のターゲット話者に対する耐性を高めること。
• テキスト監視を必要とせず、主観的および客観的指標においてテキストベースのモデルと同等またはそれを上回る性能を達成すること。

提案手法

• コンテンツと話者を統合的にモデル化できるワンステージのエンドツーエンドモデルとしてVITSフレームワークを採用し、高品質な波形生成を実現する。
• 生波形から自己教師ありの音声表現をWavLMで抽出し、その後ボトルネック抽出器を通過させてコンテンツ情報を隔離する。
• WavLM特徴量に情報ボトルネックを課し、次元を低減することで、話者固有の詳細をモデルが捨てることを強制する。
• 話者特徴を歪めながらもコンテンツを保持するスペクトログラムリサイズ（SR）データ拡張を導入し、訓練中に分離性を向上させる。
• ワンショット変換のため、1つの参照発話からターゲット話者の埋め込みを抽出するための話者エンコーダー（事前学習済みまたは非事前学習）を採用する。
• 敵対的損失とVAEベースの再構成損失を用いて、全モデルを訓練することで、知覚的品質と特徴量の分布整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 テキストアノテーションを必要とせず、テキストベースのモデルと同等の高い知覚的品質を達成できるテキストフリー音声変換システムは構築可能か？
• RQ2 WavLM特徴量に情報ボトルネックを適用することで、コンテンツと話者アイデンティティの分離はどの程度効果的か？
• RQ3 スペクトログラムリサイズのデータ拡張は、ワンショット音声変換における抽出されたコンテンツ表現の純度を向上させるか？
• RQ4 非事前学習済み話者エンコーダーは、事前学習済みエンコーダーと同等の性能を達成できるか？
• RQ5 本手法は、未知の話者や低品質な元音声に対して、既存のベースラインと比較してどの程度の性能を示すか？

主な発見

• FreeVCは、未知の話者同士の変換（unseen-to-unseen）において、MOSが4.35、SMOSが4.12を達成し、自然さと話者類似度の両面ですべてのベースラインを上回った。
• 本手法はWERが4.35%、CERが1.53%を記録し、テキストベースのベースラインと比べて顕著に低く、強力な言語的コンテンツ保持を示した。
• F0-PCCが0.778であることは、FreeVCがすべてのベースラインと比較して、元音声のプロソディックな変化をよりよく維持していることを示している。
• FreeVC（SRなし）は性能が劣化（MOS: 4.18、WER: 4.92%）しており、SRに基づく拡張が分離性と品質の向上に寄与していることを裏付けた。
• 非事前学習済み話者エンコーダーを用いたFreeVC-sは、事前学習済みエンコーダーを用いたFreeVCと同等の性能を達成しており、話者エンコーダーの選択に対して頑健であることを示した。
• モデルは低品質な元音声に対しても頑健であり、ベースラインが著しく性能を低下させる状況でも高い性能を維持した。