[論文レビュー] MR-SVS: Singing Voice Synthesis with Multi-Reference Encoder

Shoutong Wang, Jinglin Liu+4 more|arXiv (Cornell University)|Jan 11, 2022

Music and Audio Processing被引用数 7

ひとこと要約

MR-SVSは、固定サイズのスピーカーエンコーダとマルチヘッドアテンションベースのマルチリファレンスエンコーダを組み合わせることで、トーンモデリングを向上させるゼロショットマルチスケーラー・シンギングボイスシンセシスモデルを提案する。このモデルは複数のリファレンス音声を処理して、微細なボーカル特徴を捉える。また、ピッチの不一致を解消するためのピッチシフト技術を導入し、MOS評価によって裏付けられた自然さとスケーラー類似度の両方を顕著に向上させる。

ABSTRACT

Multi-speaker singing voice synthesis is to generate the singing voice sung by different speakers. To generalize to new speakers, previous zero-shot singing adaptation methods obtain the timbre of the target speaker with a fixed-size embedding from single reference audio. However, they face several challenges: 1) the fixed-size speaker embedding is not powerful enough to capture full details of the target timbre; 2) single reference audio does not contain sufficient timbre information of the target speaker; 3) the pitch inconsistency between different speakers also leads to a degradation in the generated voice. In this paper, we propose a new model called MR-SVS to tackle these problems. Specifically, we employ both a multi-reference encoder and a fixed-size encoder to encode the timbre of the target speaker from multiple reference audios. The Multi-reference encoder can capture more details and variations of the target timbre. Besides, we propose a well-designed pitch shift method to address the pitch inconsistency problem. Experiments indicate that our method outperforms the baseline method both in naturalness and similarity.

研究の動機と目的

• 単一リファレンス、固定サイズのスピーカー埋め込みによるゼロショットシンギングボイスシンセシスの限界を解消すること。これは、完全なトーン的詳細を捉えられず、ピッチの不一致に苦しむ。
• 複数のリファレンス音声クリップを活用し、フレームレベルのボーカル特徴の変動を捉えるマルチヘッドアテンションベースのエンコーダーにより、トーンモデリングを向上させること。
• 特に性別間でのピッチの不一致を軽減するため、生成されたピッチをターゲットスケーラーの平均ピッチに一致させるピッチシフト手法を導入すること。
• 低リソース環境下でも、合成品質を顕著に向上させつつ、ゼロショット手法の効率性と利便性を維持すること。

提案手法

• マルチリファレンスエンコーダは、複数のリファレンス音声をメルスペクトログ램に変換し、畳み込み層および双方向LSTM層を通過させて文脈に配慮した表現を抽出する。
• マルチリファレンスエンコーダは、複数のリファレンス音声間で異なるボーカル特性に注目するマルチヘッド自己アテンションを用い、高精度なフレームレベル埋め込みを計算する。クエリ、キー、バリュー行列は隠れ状態から導出される。
• 固定サイズのスピーカー埋め込み（リファレンス埋め込みの平均）とフレームレベルのマルチリファレンス埋め込みを組み合わせ、各合成フレームの音声モデルを条件づける。
• 推論時にピッチシフト手法を適用し、入力ピッチカーブをターゲットスケーラーの平均ピッチに合わせて調整することで、ピッチの不一致を低減する。
• 全体のモデルは、音節、継続時間、ピッチ、スピーカー埋め込みを入力とし、再構成損失を用いてメルスペクトログラムを予測する、変更されたFastSpeech 2アーキテクチャに基づく。

実験結果

リサーチクエスチョン

• RQ1 複数のリファレンス音声を処理するマルチリファレンスエンコーダーは、単一の固定サイズ埋め込みと比較して、ゼロショットシンギングボイスシンセシスにおけるトーン表現を向上させることができるか？
• RQ2 マルチリファレンスエンコーダーにおけるマルチヘッドアテンションの使用は、異なるシンギングフレーム間での微細なボーカル変動のモデリングを向上させるか？
• RQ3 特に性別ペア間で顕著なピッチの不一致が、シンギングボイスシンセシス品質をどの程度悪化させるか。また、これを効果的に是正できるか？
• RQ4 固定サイズとマルチリファレンスエンコーダーの組み合わせは、単体で使用する場合と比較して、自然さと類似度の観点で優れているか？

主な発見

• MR-SVSモデルは、性別内での合成において、自然さのMOSが4.42 ± 0.03、類似度が4.18 ± 0.03を達成し、ベースラインモデルを顕著に上回った。
• ピッチシフト手法を適用したことで、性別間変換（例：3.51 ± 0.07から3.70 ± 0.05）において類似度のMOSが0.15点以上向上し、ピッチの不一致低減の有効性が裏付けられた。
• アブレーションスタディの結果、マルチリファレンスエンコーダー単体では類似度でベースラインより劣ることが判明し、固定サイズ埋め込みが全体的なトーンモデリングに不可欠であることが示された。
• シングルヘッドのマルチリファレンスエンコーダーはベースラインを上回ったが、マルチヘッドバージョンはさらに性能を向上させ、アテンション機構が多様なボーカル特徴を捉える利点を示した。
• モデルは制御可能な合成を可能にした。入力ピッチ、音節、継続時間を変更することで、メロディーや内容を変更しつつもスケーラーのアイデンティティを維持できるため、新たなクリエイティブな音楽制作ワークフローの実現が可能になった。