[論文レビュー] High-quality nonparallel voice conversion based on cycle-consistent adversarial network

Fuming Fang, Junichi Yamagishi+2 more|arXiv (Cornell University)|Apr 2, 2018

Speech and Audio Processing被引用数 12

ひとこと要約

本論文は、平行データを必要としない高品質な非平行音声変換手法を提案する。Cycle-GANを用いて、音声スタイルの転送を学習する。循環整合性と敵対的訓練を活用することで、最先端の平行VCシステムに比べ、音声品質と話者類似度の両面で優れた性能を達成した。主観評価において、非平行VCが従来の平行手法を上回ることを示した。

ABSTRACT

Although voice conversion (VC) algorithms have achieved remarkable success along with the development of machine learning, superior performance is still difficult to achieve when using nonparallel data. In this paper, we propose using a cycle-consistent adversarial network (CycleGAN) for nonparallel data-based VC training. A CycleGAN is a generative adversarial network (GAN) originally developed for unpaired image-to-image translation. A subjective evaluation of inter-gender conversion demonstrated that the proposed method significantly outperformed a method based on the Merlin open source neural network speech synthesis system (a parallel VC system adapted for our setup) and a GAN-based parallel VC system. This is the first research to show that the performance of a nonparallel VC method can exceed that of state-of-the-art parallel VC methods.

研究の動機と目的

• 実際の収集が困難であるため、平行トレーニングデータを必要としない高品質な音声変換システムの開発。
• 強制アライメントに依存するなど、平行VCシステムの限界を克服すること。
• Cycle-GANを用いた非平行VCが、主観的品質と話者類似度において、既存の平行VC手法を上回るかを検証すること。
• 対応のない話者データを用いた音声変換に、循環整合性のある敵対的ネットワークを適用する可能性を調査すること。
• フレームレベルのアライメントを不要とすることで、音声変換のロバスト性と一般化性能を向上させること。

提案手法

• 本手法は、2つのジェネレータと2つのディスクリミネータからなるCycle-GANアーキテクチャを採用し、ソース話者埋め込みとターゲット話者埋め込みの間で循環整合なマッピングを学習する。
• ジェネレータは、1人の話者の音声特徴を別の話者に変換するように訓練され、2段階の変換後に元の入力と一致するよう、循環整合性損失を最小化する。
• 敵対的損失を適用し、生成された音声がディスクリミネータの判断において本物のターゲット話者サンプルと区別できないようにする。
• 入力と出力の表現としてメルケプストラム特徴量を用い、ターゲット話者のF0は、その話者の全平均と標準偏差を用いて正規化する。
• 強制アライメントや言語的コンテンツの一致を避けるために、ソース話者とターゲット話者の非対応な発話文を用いてトレーニングを実施する。
• 乱数シードの選択をハイパーパrameterとして用い、トレーニングの安定化と変換音声における言語的不変性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 Cycle-GANに基づく非平行音声変換システムは、最先端の平行VCシステムに比べ、より優れた主観的品質を達成できるか？
• RQ2 非平行トレーニングにおける強制アライメントの欠如により、平行手法に比べて誤差伝搬が軽減されるか？
• RQ3 循環整合性損失は、音声変換中に言語的コンテンツをどのように保持するか？
• RQ4 なぜ本モデルは男性から女性への変換で性能が劣るのか、その原因は何か。また、これを是正できるか？
• RQ5 明示的な言語的制約なしに、Cycle-GANベースのアプローチが、音声スタイル転送中にどの程度言語的アイデンティティを維持できるか？

主な発見

• 提案されたCycleGANベースの非平行VC手法は、音声品質の平均意見得点（MOS）が2.69、話者類似度が2.15を記録し、GANベースの平行ベースライン（MOS 2.36および2.02）とMerlinベースの平行ベースライン（MOS 1.45および1.45）を大きく上回った。
• 女性から男性への変換では、音声品質が2.89、話者類似度が2.53を記録し、GANベースの手法（2.20および2.26）とMerlinベースライン（1.37および1.52）を上回った。
• 男性から女性への変換では、音声品質が2.50、話者類似度が1.76を記録し、GANベースの手法（2.51および1.79）とMerlinベースライン（1.52および1.38）を上回った。
• 男性から女性への変換で性能が劣った原因は、F0の不一致とメルケプストラム特徴量の次元数が不足している（25次元）ことに起因するとされ、F0の共同学習と特徴量次元の最適化により結果が改善できると示唆された。
• モデルは、非平行VCが主観評価において最先端の平行VCシステムを上回ることを示した。これは、高品質な変換に平行データが不可欠であるという仮定に疑問を呈するものである。
• 一部の言語的歪み（例：/a:/ が /I:/ に変化）が見られたが、適切な乱数シードを選択することで、モデルは頑健なマッピングを学習でき、初期化の重要性が言語的不変性の達成に寄与することが示された。