[论文解读] AdaSpeech 3: Adaptive Text to Speech for Spontaneous Style

Yuzi Yan, Xu Tan+7 more|arXiv (Cornell University)|Jul 6, 2021

Speech Recognition and Synthesis参考文献 28被引用 9

一句话总结

AdaSpeech 3 提出了一种自适应文本到语音系统，通过引入填充停顿（FP）预测器和专家混合（MoE）时长预测器，对预训练的朗读风格 TTS 模型进行微调，以实现自然停顿和多样的节奏，从而实现自发性语音合成。该方法在自然度和自发性方面实现了显著提升，其 MOS 得分比基线 AdaSpeech 高 0.24，SMOS 得分高 0.3。

ABSTRACT

While recent text to speech (TTS) models perform very well in synthesizing reading-style (e.g., audiobook) speech, it is still challenging to synthesize spontaneous-style speech (e.g., podcast or conversation), mainly because of two reasons: 1) the lack of training data for spontaneous speech; 2) the difficulty in modeling the filled pauses (um and uh) and diverse rhythms in spontaneous speech. In this paper, we develop AdaSpeech 3, an adaptive TTS system that fine-tunes a well-trained reading-style TTS model for spontaneous-style speech. Specifically, 1) to insert filled pauses (FP) in the text sequence appropriately, we introduce an FP predictor to the TTS model; 2) to model the varying rhythms, we introduce a duration predictor based on mixture of experts (MoE), which contains three experts responsible for the generation of fast, medium and slow speech respectively, and fine-tune it as well as the pitch predictor for rhythm adaptation; 3) to adapt to other speaker timbre, we fine-tune some parameters in the decoder with few speech data. To address the challenge of lack of training data, we mine a spontaneous speech dataset to support our research this work and facilitate future research on spontaneous TTS. Experiments show that AdaSpeech 3 synthesizes speech with natural FP and rhythms in spontaneous styles, and achieves much better MOS and SMOS scores than previous adaptive TTS systems.

研究动机与目标

• 为解决自发性语音合成中因训练数据有限且缺乏对填充停顿（um, uh）和可变节奏等特征建模而导致的自然自发性语音合成挑战。
• 在仅使用少量自发性语音数据的前提下，实现对预训练朗读风格 TTS 模型的高效数据适应。
• 通过可学习的预测器和微调机制，提升对填充停顿插入和节奏变化的可控性。
• 仅使用少量微调语音样本，即可实现跨说话人自发风格的迁移。
• 发布一个新的自发性语音数据集（SPON-FP、SPON-RHYTHM、SPON-TIMBRE），以支持未来自发性 TTS 的研究。

提出的方法

• 引入一个 FP 预测器，基于预测概率将每个音素分类为无停顿、um 或 uh，插入操作由置信度分数的阈值控制。
• 采用三专家（快、中、慢）的专家混合（MoE）时长预测器，以建模多样的说话节奏。
• 在 SPON-RHYTHM 子集的文本-音高/时长数据对上微调 MoE 时长预测器和音高预测器，以适应自发性节奏模式。
• 通过仅使用 SPON-TIMBRE 子集中的少量语音样本，微调解码器参数以实现说话人音色的适应。
• 从播客音频中挖掘新的自发性语音数据集，包括文本-FP 对（SPON-FP）、文本-音高/时长对（SPON-RHYTHM）和文本-语音对（SPON-TIMBRE）。
• 使用强制对齐和带 FP 标注的 ASR 方法，为 FP 和时长预测器生成对齐的训练数据。

实验结果

研究问题

• RQ1 仅使用文本-FP 数据对，自适应 TTS 系统能否有效建模自发性语音中的填充停顿（um, uh）？
• RQ2 与单一时长预测器相比，专家混合（MoE）时长预测器在捕捉自发性语音中多样的节奏方面是否表现更优？
• RQ3 在有限的自发性语音数据上微调音高和时长预测器，对提升自然度和自发性效果如何？
• RQ4 仅使用少量微调语音样本，自发风格在新说话人上的迁移程度如何？
• RQ5 FP 预测与节奏适应在提升合成语音感知自发性方面如何相互作用？

主要发现

• AdaSpeech 3 的平均意见得分（MOS）比基线 AdaSpeech 高 0.24，表明其在自然度和语速方面显著提升了语音质量。
• 系统在语音质量与自发性 MOS（SMOS）得分上比 AdaSpeech 高 0.3，证明其在捕捉自发性语音特征方面表现更优。
• FP 预测器在 FP 合理性方面比随机插入高出 0.156 CMOS，证实其在上下文感知停顿插入方面的有效性。
• 移除基于 MoE 的时长预测（w/o MoE）后，FP 情况下 CMOS 得分下降 0.332，表明 MoE 在建模节奏多样性方面具有关键作用。
• 同时微调时长和音高预测器可带来 0.384 CMOS 的性能提升（相比无微调），凸显联合微调的重要性。
• 跨说话人风格迁移在男性语音中带来 0.175 CMOS 的增益，在女性语音中带来 0.205 CMOS 的增益，证明自发风格具有强迁移能力。