[论文解读] Few Shot Adaptive Normalization Driven Multi-Speaker Speech Synthesis

Neeraj Kumar, Srishti Goel+2 more|arXiv (Cornell University)|Dec 14, 2020

Speech Recognition and Synthesis参考文献 5被引用 5

一句话总结

该论文提出 FSM-SS，一种少样本多说话人语音合成模型，通过自适应归一化与非自回归 Transformer 架构，仅使用单个参考音频样本即可生成未见说话人风格的高质量语音。通过在归一化层中利用仿射参数解耦基频、能量和说话人身份等韵律因素，该模型在 VCTK 和 LibriTTS 数据集上达到最先进性能，未见说话人 MCD 低至 9.78，且具备强大的语音形态变换能力。

ABSTRACT

The style of the speech varies from person to person and every person exhibits his or her own style of speaking that is determined by the language, geography, culture and other factors. Style is best captured by prosody of a signal. High quality multi-speaker speech synthesis while considering prosody and in a few shot manner is an area of active research with many real-world applications. While multiple efforts have been made in this direction, it remains an interesting and challenging problem. In this paper, we present a novel few shot multi-speaker speech synthesis approach (FSM-SS) that leverages adaptive normalization architecture with a non-autoregressive multi-head attention model. Given an input text and a reference speech sample of an unseen person, FSM-SS can generate speech in that person's style in a few shot manner. Additionally, we demonstrate how the affine parameters of normalization help in capturing the prosodic features such as energy and fundamental frequency in a disentangled fashion and can be used to generate morphed speech output. We demonstrate the efficacy of our proposed architecture on multi-speaker VCTK and LibriTTS datasets, using multiple quantitative metrics that measure generated speech distortion and MoS, along with speaker embedding analysis of the generated speech vs the actual speech samples.

研究动机与目标

• 解决高质量、少样本多说话人文本到语音合成在未见说话人上的泛化挑战。
• 在语音生成过程中解耦并控制韵律特征——基频、能量和说话人身份，以实现个性化输出。
• 实现在无需说话人特定微调或大量数据的前提下，实现零样本和少样本适应。
• 通过在归一化模块中独立操控基频、能量和说话人嵌入，证明语音形态变换的可行性。

提出的方法

• 模型采用非自回归前馈 Transformer 架构，结合自适应归一化，以输入文本和参考语音样本作为条件。
• 自适应归一化通过两种变体实现：卷积型和多头注意力型，均以说话人嵌入、基频和能量作为条件。
• 实例归一化层的仿射参数由说话人嵌入、基频（F0）和能量调制，以解耦方式控制韵律。
• 通过以参考语音的韵律特征为条件的方差预测器，预测时长、能量和 F0。
• 归一化层被集成到 Transformer 解码器中，用于在残差连接前调制隐藏表示。
• 通过在推理时独立改变说话人身份、F0 和能量的输入嵌入，实现语音形态变换。

实验结果

研究问题

• RQ1 通过说话人、基频和能量条件的自适应归一化，能否实现对未见说话人的高质量少样本多说话人 TTS？
• RQ2 归一化层仿射参数在多大程度上能有效解耦基频、能量和说话人身份等韵律因素？
• RQ3 与零样本或现有 SOTA 方法相比，所提出的少样本方法在语音质量与韵律保真度方面是否表现更优？
• RQ4 通过操控韵律输入，该模型在多大程度上可用于语音形态变换？

主要发现

• 在 LibriTTS 数据集的少样本设置下，FSM-SS 的 MCD 达到 9.78，显著优于先前方法（Skerry-Ryan et al., 2018）的 MCD 10.87。
• 在 VCTK 的少样本设置中，模型将 GPE 降低至 24.45，VDE 降低至 14.47，表明预测与真实韵律对齐性显著提升。
• 消融实验表明，将基频和能量引入归一化模块后，MCD 从基础模型的 21.68 降低至 13.65，MoS 从 2.64 提升至 3.72。
• 卷积型归一化变体优于多头注意力型变体，在 VCTK 和 LibriTTS 两个数据集上均实现了更低的 MCD 和 GPE。
• 通过独立调节基频和能量，模型实现了有效的语音形态变换，定性样本显示 F0 和能量水平变化后生成语音自然且可控。
• 说话人嵌入分析表明，生成语音的嵌入与参考说话人嵌入高度接近，表明风格迁移准确。