[論文レビュー] Spectrum and Prosody Conversion for Cross-lingual Voice Conversion with CycleGAN
本稿では、F0の連続ウェーブレット変換（CWT）分解を用いてスペクトルとプロソディを連携してモデル化することで、非並列でアライメントフリーな学習を可能にする、新しいCycleGANベースのフレームワークを提案する。この手法は、スペクトルのみを用いたCycleGANベースラインと比較して、スプーファー類似度で優れている。CWTによる階層的プロソディモデリングが、翻訳言語間設定において自然さとターゲットスプーファーの類似度を顕著に向上させることを示している。
Cross-lingual voice conversion aims to change source speaker's voice to sound like that of target speaker, when source and target speakers speak different languages. It relies on non-parallel training data from two different languages, hence, is more challenging than mono-lingual voice conversion. Previous studies on cross-lingual voice conversion mainly focus on spectral conversion with a linear transformation for F0 transfer. However, as an important prosodic factor, F0 is inherently hierarchical, thus it is insufficient to just use a linear method for conversion. We propose the use of continuous wavelet transform (CWT) decomposition for F0 modeling. CWT provides a way to decompose a signal into different temporal scales that explain prosody in different time resolutions. We also propose to train two CycleGAN pipelines for spectrum and prosody mapping respectively. In this way, we eliminate the need for parallel data of any two languages and any alignment techniques. Experimental results show that our proposed Spectrum-Prosody-CycleGAN framework outperforms the Spectrum-CycleGAN baseline in subjective evaluation. To our best knowledge, this is the first study of prosody in cross-lingual voice conversion.
研究の動機と目的
- 非並列の学習データやスプーファーのアライメントを必要としないクロスリンガルボイスコンバージョンの課題に対処すること。
- 時間スケールにわたるF0の変動の階層的変化を捉えることで、クロスリンガルボイスコンバージョンにおけるプロソディモデリングを向上させること。
- 複雑なプロソディ的依存関係をモデル化できない線形的または統計的F0変換手法に依存しないようにすること。
- スペクトルとプロソディの両方のマッピングを非並列データを用いて学習する統合フレームワークを構築すること。
- CWTベースのプロソディ表現が、クロスリンガルコンバージョンにおけるスプーファー類似度と音声品質の向上に寄与するかを検証すること。
提案手法
- フレームワークは、スペクトルマッピング用とプロソディマッピング用の2つの独立したCycleGANパイプラインを採用し、非並列データ上で別々に学習する。
- プロソディモデリングでは、F0を多スケールの時間周波数係数に分解する連続ウェーブレット変換（CWT）を用い、短期的および長期的ピッチコントゥールを捉える。
- CWT係数をCycleGANベースのプロソディマッピングネットワークの入力として用い、言語間で階層的なプロソディ的構造を保持する。
- スペクトルとプロソディは、それぞれ1次元および2次元のCNNベースのジェネレータとディスクラミネータを用い、時間的および周波数的テクスチャを維持する。
- 学習目的関数には、サイクル整合性損失（$L_{CYC}$）とアイデンティティ損失（$L_{ID}$）を組み合わせ、安定性と性能を最適化するためのハイパーパrameterを調整する。
- 2段階の学習スケジュールを採用：最初の$10^4$イテレーション間は$L_{ID}$を適用し、その後、$L_{CYC}$と$L_{ID}$を併用した完全な訓練に移行する。
実験結果
リサーチクエスチョン
- RQ1線形的または統計的メソッドと比較して、CWTベースの多スケールF0表現は、クロスリンガルボイスコンバージョンにおけるプロソディモデリングを改善できるか？
- RQ2非並列データを前提に、プロソディマッピング用の別個のCycleGANパイプラインが、スプーファー類似度を向上させることができるか？
- RQ3提案されたスペクトル・プロソディ・CycleGANフレームワークは、主観的な音質およびスプーファー類似度においてスペクトルのみのCycleGANベースラインと比較して優れているか？
- RQ4非並列でアライメントのない学習データで十分な品質のクロスリンガルボイスコンバージョンが達成可能であり、プロソディ的伝達が向上するか？
- RQ5クロスリンガルプロソディ伝達の文脈において、F0の階層的性質がCWT分解によって適切に捉えられているか？
主な発見
- 提案されたスペクトル・プロソディ・CycleGANフレームワークは、英語→中国語の設定で平均評価得点（MOS）が2.92 ± 0.27、中国語→英語の設定で3.34 ± 0.29を達成し、スペクトルのみのベースラインと同等の音声品質を示した。
- XAB好みテストにおいて、提案手法はスプーファー類似度においてベースラインを顕著に上回り、$en2cn$および$cn2en$両方向で、多数の被験者がプロソディ強化出力を好んだ。
- 結果から、CWTベースのF0モデリングが、異なる時間スケールにわたる階層的プロソディ的パターンを効果的に捉えており、自然さとターゲットスプーファーの類似度が向上していることが示された。
- スペクトルとプロソディのための別個のCycleGANパイプラインを用いることで、非並列データからの効果的でアライメントフリーな学習が可能となり、フレームワークの頑健性が裏付けられた。
- 本研究は、深層生成モデルを用いてクロスリンガルボイスコンバージョンにおけるプロソディを明示的にモデル化した初の試みであり、分野における顕著な前進を示している。
- アブレーションスタディの結果、CWTおよびCycleGANによるプロソディモデリングが、スプーファー類似度の向上に不可欠であることが確認された。プロソディ変換を実施しないベースラインは、主観評価において顕著に劣っていた。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。