[论文解读] Latent Space Explorations of Singing Voice Synthesis using DDSP

Juan Carlos Vila Alonso, Cumhur Erkut|arXiv (Cornell University)|Mar 12, 2021

Music and Audio Processing参考文献 22被引用 6

一句话总结

本论文提出了一种基于DDSP的轻量化音色合成架构，仅通过12小时的训练，在小型原始音频数据集上，仅使用音高和振幅条件即可生成逼真且可识别演唱者身份的歌声。通过引入基于MFCC的潜在空间表征，模型显著提升了语音可懂度和音色保真度，实现在极小数据量和极少配置下的富有表现力、类似歌曲的输出。

ABSTRACT

Machine learning based singing voice models require large datasets and lengthy training times. In this work we present a lightweight architecture, based on the Differentiable Digital Signal Processing (DDSP) library, that is able to output song-like utterances conditioned only on pitch and amplitude, after twelve hours of training using small datasets of unprocessed audio. The results are promising, as both the melody and the singer's voice are recognizable. In addition, we present two zero-configuration tools to train new models and experiment with them. Currently we are exploring the latent space representation, which is included in the DDSP library, but not in the original DDSP examples. Our results indicate that the latent space improves both the identification of the singer as well as the comprehension of the lyrics. Our code is available at https://github.com/juanalonso/DDSP-singing-experiments with links to the zero-configuration notebooks, and our sound examples are at https://juanalonso.github.io/DDSP-singing-experiments/ .

研究动机与目标

• 开发一种基于DDSP的轻量化、高效音色合成模型，仅需极少数据和训练时间。
• 研究潜在空间表征对音色合成中语音可懂度和音色准确度的影响。
• 创建易于使用的零配置工具，使非专业机器学习背景用户也能轻松训练和实验音色合成模型。
• 证明DDSP能够有效建模人类歌唱声音的表达性与复杂性，超越单音符乐器的建模能力。

提出的方法

• 模型使用DDSP库从f0和音量重建音频，在可微分框架中结合谐波合成器与减法合成器。
• 通过从原始音频中提取的MFCC作为条件，学习潜在空间表征，从而更优地表达音色特征与语音内容。
• 采用多分辨率频谱图损失进行端到端训练，以在频域对齐生成音频与目标音频。
• 使用小型原始音频数据集，测试模型在真实场景（如背景噪声、音高不准确）下的泛化能力与鲁棒性。
• 提供零配置Jupyter笔记本，使用户无需自定义数据预处理或复杂设置即可完成训练与推理。
• 模型利用可微分数字信号处理组件（如振荡器、滤波器、包络）以确保训练过程中的梯度流动与可解释性。

实验结果

研究问题

• RQ1 轻量化的基于DDSP的模型是否能仅通过音高和振幅条件生成富有表现力、可识别演唱者身份的歌声？
• RQ2 基于MFCC提取的潜在空间表征在音色合成中如何影响语音可懂度与音色质量？
• RQ3 在极少数据且无预处理的情况下，DDSP在复杂、富有表现力的语音信号上能有多强的泛化能力？
• RQ4 零配置工具是否能显著降低非专家用户使用DDSP进行音色合成实验的门槛？

主要发现

• 即使仅在小型原始数据集上训练12小时，模型仍能生成具有歌曲特征、在听觉上可识别为原始演唱者声音的语音输出。
• 引入基于MFCC的潜在空间表征后，与仅使用音高和振幅条件相比，语音可懂度与音色保真度显著提升。
• 模型无需大规模数据集或复杂预处理即可实现高质量音色合成，对背景噪声和音高估计误差表现出强鲁棒性。
• 零配置笔记本使用户能以极简设置完成模型训练与推理，显著加速了SMC社区中的实验与应用推广。
• 结果证实DDSP适用于音色合成，且可扩展以支持如震音、动态变化与发音特征等表达性语音特性。
• 作者展示了与现有DDSP模型（如长笛、小提琴）的兼容性，支持组件互操作与已训练模块的复用。