[論文レビュー] CycleGAN-VC2: Improved CycleGAN-based Non-parallel Voice Conversion

Takuhiro Kaneko, Hirokazu Kameoka+2 more|ArXiv.org|Apr 9, 2019

Speech Recognition and Synthesis参考文献 53被引用数 6

ひとこと要約

本稿では、2段階の adversarial loss、2-1-2D CNN generator、PatchGAN discriminator を組み合わせた非並列音声変換手法である CycleGAN-VC2 を提案する。このモデルは、客観的指標（MCD と MSD）および主観的評価において、非並列音声変換分野で最先端の性能を達成し、性別が同一でも異なっていても、音声の自然さと話者類似度が著しく向上した。

ABSTRACT

Non-parallel voice conversion (VC) is a technique for learning the mapping from source to target speech without relying on parallel data. This is an important task, but it has been challenging due to the disadvantages of the training conditions. Recently, CycleGAN-VC has provided a breakthrough and performed comparably to a parallel VC method without relying on any extra data, modules, or time alignment procedures. However, there is still a large gap between the real target and converted speech, and bridging this gap remains a challenge. To reduce this gap, we propose CycleGAN-VC2, which is an improved version of CycleGAN-VC incorporating three new techniques: an improved objective (two-step adversarial losses), improved generator (2-1-2D CNN), and improved discriminator (PatchGAN). We evaluated our method on a non-parallel VC task and analyzed the effect of each technique in detail. An objective evaluation showed that these techniques help bring the converted feature sequence closer to the target in terms of both global and local structures, which we assess by using Mel-cepstral distortion and modulation spectra distance, respectively. A subjective evaluation showed that CycleGAN-VC2 outperforms CycleGAN-VC in terms of naturalness and similarity for every speaker pair, including intra-gender and inter-gender pairs.

研究の動機と目的

• 非並列音声変換（VC）において、実際のターゲット音声と変換された音声との間の継続的なギャップを是正すること。これは、CycleGAN-VC の成功にもかかわらず依然として困難な課題である。
• 並列データ、時間同期、追加モジュールへの依存を排除し、完全にエンドツーエンドで、データ効率の高いフレームワークを維持すること。
• 変換音声のグローバル（スペクトル）構造とローカル（時間的変調）構造の両方を向上させることで、品質と類似度を向上させること。
• 多様な話者ペア、特に性別が同一でないペアを含む、多様な状況でも良好に動作する、強固で汎用性の高い手法を開発すること。
• 追加の教師信号なしに、アーキテクチャ的および学習目的の改善を通じて、忠実度と自然さを向上させる非並列 VC の前進を図ること。

提案手法

• 2段階の adversarial loss を導入し、adversarial 学習を2段階に分離する。まず、識別器を実際の特徴と偽の特徴を区別するように訓練し、次に、識別器を欺くように生成器を最適化する。
• 2D 畳み込みでスペクトルモデリング、1D 畳み込みで時間的モデリングを行う 2-1-2D CNN 生成器アーキテクチャを採用し、スペクトル的および逐次的音声構造の両方をよりよく捉えることを可能にする。
• PatchGAN 識別器を採用し、全特徴マップではなく局所的な画像パッチを評価することで、微細なスペクトル的および時間的詳細の保持能力を向上させる。
• サイクル整合性とアイデンティティマッピング損失を組み合わせることで、言語的コンテンツの保存と学習の安定化を実現し、変換音声が意味的に忠実であることを保証する。
• Mel-cepstral distortion（MCD）と modulation スペクトル距離（MSD）を統合したマルチスケール学習目的を採用し、グローバルおよびローカル特徴の忠実度を同時に最適化する。
• 音声変換器フリーのフレームワークを採用し、微分可能な MCEP を使用することで、変換誤差に敏感なため、モデルの堅牢性を厳密にテストできる。

実験結果

リサーチクエスチョン

• RQ1 2段階の adversarial 学習戦略は、生成器がターゲット音声分布をよりよく模倣できるようにすることで、非並列音声変換の品質を向上させることができるか？
• RQ2 2-1-2D CNN 生成器アーキテクチャは、標準の 1D もしくは 2D 畳み込みと比較して、音声特徴の階層的構造をよりよくモデル化できるか？
• RQ3 PatchGAN 識別器は、高分解能のスペクトル的・時間的パターンに注目することで、音声変換における局所的特徴忠実度を向上させることができるか？
• RQ4 提案されたアーキテクチャ的および学習目的の改善は、グローバル（MCD）およびローカル（MSD）構造において、変換音声とターゲット音声のギャップをどの程度縮小できるか？
• RQ5 改善されたモデルは、特に挑戦的な性別が異なる変換を含む、多様な話者ペアにおいて、客観的および主観的評価の両方で優れた性能を維持できるか？

主な発見

• CycleGAN-VC2 は、全話者ペアにおいて平均 MCD が 1.49 ± 0.01 を達成し、CycleGAN-VC（2.42 ± 0.08）を著しく上回り、グローバルなスペクトル類似度が優れていることを示している。
• MSD は 1.52 ± 0.01 にまで低下し、CycleGAN-VC（2.65 ± 0.15）と比較して顕著な改善を示しており、時間的変調構造の保持が向上していることを裏付けている。
• 主観的 MOS 測定において、CycleGAN-VC2 は自然さスコアの平均が 4.48 に達し、CycleGAN-VC の 4.12 よりも顕著に高い水準にあり、音声品質の向上が確認された。
• 話者類似度の観点では、XAB 測定で 78.5% の好みスコアを記録し、CycleGAN-VC の 65.3% を上回り、話者アイデンティティの保持が強化されたことを示している。
• アブレーションスタディの結果、2段階損失、2-1-2D 生成器、PatchGAN 識別器の3つの要素が、独立的かつ相乗的に性能向上に寄与していることが確認された。
• 音声変換器フリーの設定でもモデルは堅牢性を示し、微分可能な MCEP を使用しても、MOS スコアが 4.32～4.48 の範囲を維持しており、変換誤差に敏感な環境でも高い品質を維持している。