[論文レビュー] CycleGAN-VC3: Examining and Improving CycleGAN-VCs for Mel-spectrogram Conversion

Takuhiro Kaneko, Hirokazu Kameoka+2 more|arXiv (Cornell University)|Oct 22, 2020

Speech Recognition and Synthesis参考文献 41被引用数 5

ひとこと要約

本稿では、時間周波数適応正規化（TFAN）を導入することでメルスペクトログ램変換を向上させる、改善された音声変換モデルCycleGAN-VC3を提案する。TFANにより、元の音声の時間周波数構造が保持される。主観的評価において、CycleGAN-VC2のバリエーション（メルケプストラムおよびメルスペクトログラムの両方）を上回り、非並列音声変換の新たな基準としてCycleGAN-VC3を確立する。

ABSTRACT

Non-parallel voice conversion (VC) is a technique for learning mappings between source and target speeches without using a parallel corpus. Recently, cycle-consistent adversarial network (CycleGAN)-VC and CycleGAN-VC2 have shown promising results regarding this problem and have been widely used as benchmark methods. However, owing to the ambiguity of the effectiveness of CycleGAN-VC/VC2 for mel-spectrogram conversion, they are typically used for mel-cepstrum conversion even when comparative methods employ mel-spectrogram as a conversion target. To address this, we examined the applicability of CycleGAN-VC/VC2 to mel-spectrogram conversion. Through initial experiments, we discovered that their direct applications compromised the time-frequency structure that should be preserved during conversion. To remedy this, we propose CycleGAN-VC3, an improvement of CycleGAN-VC2 that incorporates time-frequency adaptive normalization (TFAN). Using TFAN, we can adjust the scale and bias of the converted features while reflecting the time-frequency structure of the source mel-spectrogram. We evaluated CycleGAN-VC3 on inter-gender and intra-gender non-parallel VC. A subjective evaluation of naturalness and similarity showed that for every VC pair, CycleGAN-VC3 outperforms or is competitive with the two types of CycleGAN-VC2, one of which was applied to mel-cepstrum and the other to mel-spectrogram. Audio samples are available at http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/cyclegan-vc3/index.html.

研究の動機と目的

• CycleGAN-VCおよびCycleGAN-VC2を直接メルスペクトログラム変換に適用する可能性と限界を調査すること。
• 標準的なCycleGAN-VC2を用いて直接メルスペクトログラム変換を行うと、なぜ時間周波数構造が劣化するのかを特定すること。
• 非並列音声変換において、元のメルスペクトログラムの構造的特徴を保持する方法を開発すること。
• 提案手法を、メルケプストラムとメルスペクトログラムの両方の変換タスクにおける既存のCycleGAN-VCバリエーションと比較して評価すること。
• メルスペクトログラムに基づく非並列音声変換の新たな基準として、CycleGAN-VC3を確立すること。

提案手法

• SPADEをインspiredに、変換後のメルスペクトログラムのスケールとバイアスを適応的に調整する時間周波数適応正規化（TFAN）を導入する。
• 1Dおよび2DのTFANレイヤーを、1Dから2Dへの変換およびアップサンプリングブロックに適用し、局所的な時間周波数パターンを保持する。
• マルチスケールディスクライマーとサイクル整合性損失を用いて、生成された特徴量の同一性と敵対的リアリズムを維持する。
• 安定な学習を実現するため、敵対的損失、サイクル整合性損失、およびアイデンティティマッピング損失を組み合わせた修正された学習目的を採用する。
• TFANレイヤーの配置と深さを最適化し、1Dと2Dを併用する3層の構成が最良の性能を示すことが判明した。
• メルスペクトログラムを入力および出力特徴量として用い、VCC 2018データセット上でエンドツーエンドにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 CycleGAN-VCおよびCycleGAN-VC2を、時間周波数構造の劣化を伴わずにメルスペクトログラム変換に効果的に適用できるか？
• RQ2 標準的なCycleGAN-VC2を直接メルスペクトログラム変換に適用すると、なぜメルスペクトログラム品質が劣化するのか？
• RQ3 非並列音声変換の過程で、元のメルスペクトログラムの時間周波数構造をどのように保持できるか？
• RQ4 提案されたTFANモジュールは、従来のCycleGAN-VCバリエーションと比較して、客観的および主観的指標の両方を向上させるか？
• RQ5 CycleGAN-VC3は、メルスペクトログラムに基づく非並列音声変換の新たな基準として機能できるか？

主な発見

• CycleGAN-VC2を直接メルスペクトログラムに適用した場合（V2）では、時間周波数構造が損なわれるため、調査の定性的な比較でハーモニック構造が劣化することが示された。
• アブレーションスタディにおいて、提案されたCycleGAN-VC3（V3）は、MCD（6.91 dB）およびMSD（1.74 dB）の両方で最低スコアを記録し、優れた客観的性能を示した。
• 主観的評価において、CycleGAN-VC3は自然さの平均評価スコア（MOS）が4.12、話者類似度が4.21を記録し、メルケプストラム（B）を用いたベンチマークのCycleGAN-VC2を多くの場合で上回った。
• 性別を跨ぐ音声変換（SF-TMおよびSM-TF）において、自然さが著しく向上し、類似度においても競争力を持つことが確認され、モデルの頑健性が裏付けられた。
• 1Dおよび2DのTFANレイヤーを、1Dから2Dへの変換およびアップサンプリングブロックに併用することで、最も効果的であることが判明し、3層の構成が最適な結果をもたらした。
• CycleGAN-VC3は、メルケプストラムおよびメルスペクトログラムの両方を用いたCycleGAN-VC2のバリエーションと比較して、競争力のある、あるいはより優れた性能を発揮し、メルスペクトログラムに基づく非並列音声変換の新たな基準としての地位を確立した。