[论文解读] Affectron: Emotional Speech Synthesis with Affective and Contextually Aligned Nonverbal Vocalizations

Deok-Hyun Cho, Hyung-Seok Oh+2 more|arXiv (Cornell University)|Mar 15, 2026

Emotion and Mood Recognition被引用 0

一句话总结

Affectron 在经预训练的语言模型基础上对口语/语音模型进行微调，使其生成与情感和情境相符的表达性非语言发声（NV），通过情感驱动的 NV 匹配、情感感知的 NV 路由、NV 掩蔽以及在小型开放语料上的 NV 增强训练实现。

ABSTRACT

Nonverbal vocalizations (NVs), such as laughter and sighs, are central to the expression of affective cues in emotional speech synthesis. However, learning diverse and contextually aligned NVs remains challenging in open settings due to limited NV data and the lack of explicit supervision. Motivated by this challenge, we propose Affectron as a framework for affective and contextually aligned NV generation. Built on a small-scale open and decoupled corpus, Affectron introduces an NV-augmented training strategy that expands the distribution of NV types and insertion locations. We further incorporate NV structural masking into a speech backbone pre-trained on purely verbal speech to enable diverse and natural NV synthesis. Experimental results demonstrate that Affectron produces more expressive and diverse NVs than baseline systems while preserving the naturalness of the verbal speech stream.

研究动机与目标

• 解决在为情感 TTS 生成符合情境的非语言发声（NV）时的数据稀缺与偏差问题。
• 利用小规模开放语料库来增强 NV 多样性，而无需显式对齐标注。
• 开发训练时的 NV 增强和 NV 结构掩蔽，以实现情感感知的 NV 合成。
• 对一个口语/语音预训练的神经编解码语言模型进行微调，使其联合建模 NV 与口语。

提出的方法

• 使用一个小型开放、解耦的语料库，其中口语和 NVs 分别记录，以扩展 NV 类型和插入位置。
• 引入情感驱动的 top-K NV 匹配，以选择在情感上与每句话相匹配的 NV。
• 引入情感感知的 top-K 路由，根据情感动态在上下文合适的位置放置所选 NV。
• 将 NV 结构掩蔽整合到语音骨干网络中，以使生成条件化于周围的口语情感上下文。
• 以重新排列的 NV 增强标记序列和 NV 标记的转录文本，对 VoiceCraft/Neural Codec Language Model (NCLM) 进行微调。
• 推理阶段，在带 NV 标记的转录文本和情感参考话语的条件下生成 NV，无需对齐或路由步骤。

实验结果

研究问题

• RQ1 是否可以使用小型开放语料库在情感上下文中现实地扩展并对齐 NV 类型和位置？
• RQ2 情感驱动的 NV 匹配和情感感知路由是否相比基线系统提升 NV 的表现力和情境连贯性？
• RQ3 NV 结构掩蔽是否在生成过程中提升 NV 与口语的自然衔接？
• RQ4 NV 增强训练是否在零-shot 与已见说话人场景中比直接在口语与 NV 数据上分开训练更有效？

主要发现

• Affectron 相较于基线以 NCLM 为基础的 TTS 模型，在保持口语自然性的同时，获得了更具表现力和多样性的 NV 合成。
• 情感驱动的 NV 匹配和情感感知路由产生的 NV 类型与位置分布，与经验数据的对齐度高于竞争方法。
• NV 结构掩蔽通过以周围口语情感上下文为条件，提升边界自然性与连贯性。
• 消融研究表明各组件（NV 掩蔽、路由、匹配、增广）对提升 NV 的真实感与多样性均有贡献。
• 零-shot 和未见说话人评估表明 Affectron 能在不同说话人中维持 NV 质量与情境对齐。