[論文レビュー] StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

Takuhiro Kaneko, Hirokazu Kameoka+2 more|arXiv (Cornell University)|Jul 29, 2019

Speech Recognition and Synthesis参考文献 55被引用数 17

ひとこと要約

StarGAN-VC2 は、スターチャンネルベースのモデルにおける条件付き手法を再考することで、ソースおよびターゲット条件付き adversarial loss とモodulationに基づくネットワークアーキテクチャを導入した、改善された音声変換フレームワークを提案する。これらの改善により、音声品質と話者類似度が著しく向上し、マルチスプーカー音声変換タスクにおいて、客観的および主観的評価の両面で StarGAN-VC を上回る性能を達成した。

ABSTRACT

Non-parallel multi-domain voice conversion (VC) is a technique for learning mappings among multiple domains without relying on parallel data. This is important but challenging owing to the requirement of learning multiple mappings and the non-availability of explicit supervision. Recently, StarGAN-VC has garnered attention owing to its ability to solve this problem only using a single generator. However, there is still a gap between real and converted speech. To bridge this gap, we rethink conditional methods of StarGAN-VC, which are key components for achieving non-parallel multi-domain VC in a single model, and propose an improved variant called StarGAN-VC2. Particularly, we rethink conditional methods in two aspects: training objectives and network architectures. For the former, we propose a source-and-target conditional adversarial loss that allows all source domain data to be convertible to the target domain data. For the latter, we introduce a modulation-based conditional method that can transform the modulation of the acoustic feature in a domain-specific manner. We evaluated our methods on non-parallel multi-speaker VC. An objective evaluation demonstrates that our proposed methods improve speech quality in terms of both global and local structure measures. Furthermore, a subjective evaluation shows that StarGAN-VC2 outperforms StarGAN-VC in terms of naturalness and speaker similarity. The converted speech samples are provided at http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/stargan-vc2/index.html.

研究の動機と目的

• 非並列マルチドメイン音声変換における実際の音声と変換音声の性能ギャップを是正すること。
• 学習目的およびネットワーク設計における条件付き手法の再考を通じて、StarGAN-VC の一般化性能と忠実度を向上させること。
• 並列学習データが不要な状況でも、複数話者にわたる高品質なシングルジェネレータ型音声変換を可能にすること。
• 変換音声におけるグローバル（例：スペクトル構造）およびローカル（例：モダレーションダイナミクス）特徴の整合性を向上させること。
• 先行する最先端モデルと比較して、主観的聴取テストにおける自然さと話者類似度を向上させること。

提案手法

• すべてのソースドメイン音声がターゲットドメイン分布へ変換されるよう促進する、ソースおよびターゲット条件付き adversarial loss を提案し、識別器の一般化性能を向上させる。
• ドメイン固有のモodulationを音声特徴に適用する、モodulationに基づく条件付きメカニズムを導入し、スペクトルダイナミクスに対する細かい制御を可能にする。
• ドメイン条件付きの1つのジェネレータを用い、StarGAN-VC のスケーラビリティを維持しながら、特徴の忠実度を向上させる。
• アイデンティティ損失とサイクル整合性を組み合わせた GAN フレームワークを採用し、ドメインコードを用いてマルチスプーカー設定に適応させる。
• グローバルおよびローカル特徴類似度を評価するため、Mel-cepstral distortion (MCD) と modulation spectra distance (MSD) を目的指標として用いる。
• 主観的聴取テストにおける自然さと話者類似度を評価するため、XAB 偏好テストと MOS 評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 再構築された adversarial loss は、マルチスプーカー音声変換における変換音声とターゲット音声の整合性を向上させることができるか？
• RQ2 モodulationに基づく条件付きネットワークアーキテクチャは、非並列音声変換におけるローカルスペクトル構造の保存を向上させることができるか？
• RQ3 提案手法の条件付き手法は、従来のチャンネル別条件付き処理と標準 adversarial loss と比較して、音声品質と話者類似度の面で優れているか？
• RQ4 提案手法は、客観的および主観的評価において、実際の音声と変換音声のギャップをどの程度縮小できるか？
• RQ5 改善されたモデルは、マルチスプーカー変換を越えて、他のマルチドメイン音声変換タスクにも一般化可能か？

主な発見

• StarGAN-VC2 は、Mel-cepstral distortion (MCD) 6.90 dB および modulation spectra distance (MSD) 1.89 dB を達成し、グローバルおよびローカル特徴類似度の両面で StarGAN-VC を上回った。
• 提案されたソースおよびターゲット条件付き adversarial loss は、標準損失を用いたベースラインの StarGAN-VC と比較して、MCD を 0.21 dB、MSD を 0.52 dB 減少させた。
• モodulationに基づく条件付きネットワークは、チャンネル別手法と比較して MSD を 0.66 dB 減少させ、ローカル構造の保存性能が優れていることを示した。
• 自然さに関する主観的 MOS スコアは、StarGAN-VC2 が顕著に高く（p < 0.05）、平均スコアは 3.85 であったのに対し、StarGAN-VC は 3.67 であった。
• 話者類似度に関する好みスコアは、StarGAN-VC2 が 72%、StarGAN-VC が 60% であり、話者アイデンティティの保持性能が統計的に有意に向上したことを示した。
• 全変換、同性間、異性間変換のすべてのカテゴリで、モデルは一貫した優位性を示した。