[論文レビュー] An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning

Berrak Şişman, Junichi Yamagishi+2 more|arXiv (Cornell University)|Aug 9, 2020

Speech Recognition and Synthesis参考文献 284被引用数 26

ひとこと要約

この論文は、統計的モデリングからディープラーニングに至る音声変換（VC）技術について包括的なレビューを提供しており、音声分析、スペクトルおよびプロソディックマッピング、音声生成に関する内容をカバーしている。ベンチマーク（Voice Conversion Challenges: VCC）を用いた性能評価、主なデータセット（VCTK、LibriTTS、VoxCeleb）の強調、オープンソースツールの説明を通じ、ニューラルVCおよび音声合成分野の研究者にとって基盤的リソースを提供している。

ABSTRACT

Speaker identity is one of the important characteristics of human speech. In voice conversion, we change the speaker identity from one to another, while keeping the linguistic content unchanged. Voice conversion involves multiple speech processing techniques, such as speech analysis, spectral conversion, prosody conversion, speaker characterization, and vocoding. With the recent advances in theory and practice, we are now able to produce human-like voice quality with high speaker similarity. In this paper, we provide a comprehensive overview of the state-of-the-art of voice conversion techniques and their performance evaluation methods from the statistical approaches to deep learning, and discuss their promise and limitations. We will also report the recent Voice Conversion Challenges (VCC), the performance of the current state of technology, and provide a summary of the available resources for voice conversion research.

研究の動機と目的

• 統計的モデリングからディープラーニングに至る音声変換技術の包括的サーベイを提供すること。
• 音声変換研究における性能評価手法と課題を分析すること。
• 2013年以降のVoice Conversion Challenges（VCC）の進化と影響を文書化すること。
• VCTK、LibriTTS、VoxCelebを含む、公開可能なデータセットおよびツールを要約すること。
• VC分野における必須リソースと最先端の実践法を整理し、研究者およびエンジニアを支援すること。

提案手法

• トレーニングデータ（ペアド vs. 非ペアド）、モデリングアプローチ（パラメトリック vs. 非パラメトリック）、最適化スコープ（フレームレベル vs. 発話レベル）に基づいて音声変換技術を分類する。
• スペクトルマッピングに用いられる統計的手法（Gaussian Mixture Models: GMM、Partial Least Squares: PLS、Dynamic Kernel PLS: DKPLS）をレビューする。
• 過剰平滑化を低減し、音声品質を向上させるために、非パラメトリック手法（Non-negative Matrix Factorization: NMF）およびエクземプラ基盤のスパース表現を検討する。
• ペアド発話が不要な非ペアドVCアプローチとして、発音ポスタリオグラム（PPG）、INCAアライメント、スプーカーモデルアライメントを検討する。
• エンドツーエンドマッピングと分離可能なスプーカーレプリゼンテーションを実現するため、オートエンコーダー、変分オートエンコーダー（VAEs）、敵対的ネットワークを含むディープラーニングベースのVC手法を分析する。
• スプーカーエンコーダーのトレーニングおよびゼロショットまたはフェイントショットVCにおける一般化を可能にするために、大規模で低品質なデータセット（LibriTTS、VoxCeleb）の利用をレビューする。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンスと一般化能力の観点から、統計的モデリングからディープラーニングに至る音声変換技術の進化はどのように遂げられてきたか？
• RQ2 非ペアドVCにおける主な課題は何か。アライメント手法およびPPGベースの手法は、それらの課題をどのように解決するか？
• RQ3 音声変換に最も効果的な評価指標とベンチマークは何か。それらは知覚的品質とスプーカー類似度をどのように反映しているか？
• RQ4 VCTK、LibriTTS、VoxCelebのような大規模オープンソースデータセットは、VCにおけるデータ集約型ディープラーニングモデルの開発をどのように支援するか？
• RQ5 Voice Conversion Challenges（VCC）は、分野の発展と再現可能な評価を促進するために果たす役割は何か？

主な発見

• Voice Conversion Challenges（VCC）は、評価の標準化とイノベーションの促進において画期的な役割を果たしており、2016年および2018年の最良システムは、高度なスプーフド音声の生成に使用された。
• PPGベースやINCAアライメントを用いた非ペアドVC技術は、ペアドトレーニングデータが不要であるため、応用範囲を拡大した。
• スパース表現およびNMFベースの手法は過剰平滑化を低減し、特に小規模なペアドデータセットにおいて音声品質を向上させる。
• 大規模データセット（LibriTTS：585時間、2,456名のスプーカー、VoxCeleb：2,800時間以上、6,000名以上のスプーカー）は、強固なスプーカーエンコーダーのトレーニングおよびゼロショットまたはフェイントショット変換を可能にするために不可欠である。
• VCCによって生成されたスプーフド音声を用いてトレーニングされたアンチスプーフィングシステムは、人間の聴取者を上回る性能を示し、実世界応用における強力な検出手法の必要性を浮き彫りにした。
• ESPnet や spocket といったオープンソースツールは、GMMベースからエンドツーエンドニューラルネットワークまで多様なVCモデルをサポートし、再現可能性とコミュニティ開発を促進している。