[論文レビュー] Causal Prosody Mediation for Text-to-Speech:Counterfactual Training of Duration, Pitch, and Energy in FastSpeech2

Suvendu Sekhar Mohanty|arXiv (Cornell University)|Mar 12, 2026

Emotion and Mood Recognition被引用数 0

ひとこと要約

この論文は、FastSpeech2 に感情条件付けと反事実トレーニングを組み合わせた因果プロソディ媒介フレームワークを提案し、感情と言語内容を分離することで表現豊かな TTS のプロソディと制御性を改善します。

ABSTRACT

We propose a novel causal prosody mediation framework for expressive text-to-speech (TTS) synthesis. Our approach augments the FastSpeech2 architecture with explicit emotion conditioning and introduces counterfactual training objectives to disentangle emotional prosody from linguistic content. By formulating a structural causal model of how text (content), emotion, and speaker jointly influence prosody (duration, pitch, energy) and ultimately the speech waveform, we derive two complementary loss terms: an Indirect Path Constraint (IPC) to enforce that emotion affects speech only through prosody, and a Counterfactual Prosody Constraint (CPC) to encourage distinct prosody patterns for different emotions. The resulting model is trained on multi-speaker emotional corpora (LibriTTS, EmoV-DB, VCTK) with a combined objective that includes standard spectrogram reconstruction and variance prediction losses alongside our causal losses. In evaluations on expressive speech synthesis, our method achieves significantly improved prosody manipulation and emotion rendering, with higher mean opinion scores (MOS) and emotion accuracy than baseline FastSpeech2 variants. We also observe better intelligibility (low WER) and speaker consistency when transferring emotions across speakers. Extensive ablations confirm that the causal objectives successfully separate prosody attribution, yielding an interpretable model that allows controlled counterfactual prosody editing (e.g. "same utterance, different emotion") without compromising naturalness. We discuss the implications for identifiability in prosody modeling and outline limitations such as the assumption that emotion effects are fully captured by pitch, duration, and energy. Our work demonstrates how integrating causal learning principles into TTS can improve controllability and expressiveness in generated speech.

研究の動機と目的

• Prosody における言語内容と感情の分離による表現豊かな TTS の動機付け。
• テキスト、感情、話者、およびプロソディと音声波形をリンクする構造的因果モデルの構築。
• 因果制約を課す損失項を導入し、反事実プロソディ編集を可能にする。

提案手法

• 明示的な感情条件付けを追加した FastSpeech2 の拡張。
• テキスト、感情、話者がプロソディ（持続時間、ピッチ、エネルギー）と波形に影響を与える構造的因果モデルを定式化。
• Indirect Path Constraint (IPC) と Counterfactual Prosody Constraint (CPC) の二つの損失項を導出。
• 標準スペクトログラムと分散損失に加え因果損失を併用し、LibriTTS、EmoV-DB、VCTK などの多話者感情コーパスで訓練。
• アブレーションを通じて、プロソディ操作、感情レンダリング、 intelligibility（WER）、話者一貫性を評価。

実験結果

リサーチクエスチョン

• RQ1 因果フレームワーク下で、感情効果をプロソディにおいて持続時間、ピッチ、エネルギーだけで完全に捉えられるか。
• RQ2 IPC および CPC の制約は、自然さと intelligibility を保ちながら感情特有のプロソディを可能にするか。
• RQ3 同一発話、異なる感情での反事実編集は、パフォーマンスの低下なしに知覚的に異なるプロソディを達成するか。
• RQ4 話者間の感情転送における MOS、感情精度、WER の観点でモデルはどの程度機能するか。

主な発見

• 提案された因果目的関数は、ベースラインの FastSpeech2 変種と比べてプロソディ操作と感情レンダリングを改善。
• モデルはベースラインより高い MOS と感情精度を達成。
• 他話者へ感情を転送する際、 intelligibility は高水準を維持し、話者一貫性が向上。
• アブレーションにより、因果損失がプロソディの帰属を分離し、解釈可能な反事実編集を実現することを示唆。
• 感情効果がピッチ、持続、エネルギーで捉えられる等 identifiability の考慮事項と限界について言及。