[論文レビュー] Tutti: Expressive Multi-Singer Synthesis via Structure-Level Timbre Control and Vocal Texture Modeling

Jiatao Chen, Xing Tang+4 more|arXiv (Cornell University)|Feb 9, 2026

Music Technology and Sound Studies被引用数 0

ひとこと要約

Tutti は、構造認識型の歌手プロンプトとテクスチャモデリングを用いて、ダイナミックな歌手スケジューリングとコーラスのリアルな歌唱テクスチャを実現する、単一の楽曲内での構造化マルチ歌手生成の統合フレームワークです。

ABSTRACT

While existing Singing Voice Synthesis systems achieve high-fidelity solo performances, they are constrained by global timbre control, failing to address dynamic multi-singer arrangement and vocal texture within a single song. To address this, we propose Tutti, a unified framework designed for structured multi-singer generation. Specifically, we introduce a Structure-Aware Singer Prompt to enable flexible singer scheduling evolving with musical structure, and propose Complementary Texture Learning via Condition-Guided VAE to capture implicit acoustic textures (e.g., spatial reverberation and spectral fusion) that are complementary to explicit controls. Experiments demonstrate that Tutti excels in precise multi-singer scheduling and significantly enhances the acoustic realism of choral generation, offering a novel paradigm for complex multi-singer arrangement. Audio samples are available at https://annoauth123-ctrl.github.io/Tutii_Demo/.

研究の動機と目的

• ソリスト・パラダイムを超える動的なマルチ歌手配置を単一の楽曲内で可能にする。
• 楽曲構造（verse/chorus）に応じて歌手をスケジュールする構造認識型プロンプトシステムを開発する。
• テクスチャ学習モジュールを通じて、明示的な制御では捉えきれない、空間的リバーブトーンやスペクトルフュージョンといった潜在的な歌唱テクスチャを捉える。

提案手法

• Vocal VAE を備えた DiT ベースの潜在拡散バックボーンを用いてマルチ歌手波形を生成する。
• Adaptive Singer Prompt Fuser による Structure-Aware Singer Prompt を導入し、楽曲セグメントごとにマルチ歌手埋め込みを柔軟に結合する。
• Condition-Guided VAE を介して参照音声から補完的なテクスチャ特徴を抽出し、潜在的な歌唱テクスチャをモデル化する。
• 複数条件下でのデノイジング速度場を学習する条件付きフローメーミング目的で訓練する。
• 潜在フレームレートでの連続条件と離散条件の連結による融合。
• 構造誘導の SongPrep と CAM++ 基づく歌手埋め込みクラスタリングを活用して歌手のスケジューリングを決定する。

実験結果

リサーチクエスチョン

• RQ1 楽曲構造に guided されて、単一曲内でのマルチ歌手スケジューリングをどのように制御できるか。
• RQ2 明示的な制御（歌詞、構造、歌手 identity）を、潜在的な歌唱テクスチャで豊かにしてリアリズムを向上させられるか。
• RQ3 Adaptive Multi-Singer Fusion がコーラス合成における音色の特徴性と歌詞 intelligibility に与える影響はどうか。
• RQ4 テクスチャ指向の VAE は、純粋な明示的条件付けと比べて音響的リアリズムにどう寄与するか。

主な発見

Model	WER ↓	SIM ↑	MOS-Q ↑	MOS-N ↑	MS-MOS ↑	Mel-MOS ↑
GT (Ground Truth)	12.45%	-	4.50 ± 0.05	4.65 ± 0.05	4.30 ± 0.05	4.16 ± 0.05
Vevo2	16.80%	0.657	3.85 ± 0.12	4.01 ± 0.12	-	-
Tutti (Ours)	13.50%	0.691	4.12 ± 0.06	4.12 ± 0.06	4.02 ± 0.10	3.89 ± 0.05
w/o Texture	13.85%	0.705	3.99 ± 0.08	3.97 ± 0.07	3.87 ± 0.06	3.57 ± 0.12
w/o Fuser	17.25%	0.649	4.02 ± 0.07	4.10 ± 0.07	3.61 ± 0.12	3.87 ± 0.06

• Tutti は、構造認識型の正確なスケジューリングを伴うダイナミックなマルチ歌手配置を実現し、マルチ歌手指標でベースラインを上回る。
• 歌唱テクスチャ学習は音響的リアリズムを向上させ、テクスチャ手がかりを含む場合に旋律演奏と知覚指標の顕著な向上が見られる。
• Adaptive Singer Prompt Fuser は歌手アイデンティティを保持しつつ、リード/ハーモニーの一貫した相互作用を可能にし、線形融合法を上回る。
• 客観指標では、Tutti は Vevo2 よりマルチ歌手シナリオで高い SIM、低い WER を達成し、主観的 MOS も Tutti の方が高い。
• アブレーション実験では、テクスチャまたは適応フューザーを除去すると旋律、音色の特徴性、歌詞 intelligibility が劣化する。
• 可視化により、ソロ対コーラスのピッチパターンが明確に分かれ、コーラスのスペクトル含量が豊かであることが確認できる。