[论文解读] Modulated Variational auto-Encoders for many-to-many musical timbre transfer

Adrien Bitton, Philippe Esling+1 more|arXiv (Cornell University)|Sep 29, 2018

Music and Audio Processing参考文献 21被引用 16

一句话总结

本文提出调制变分自编码器（MoVE），一种轻量级、非对抗性的多对多音乐音色迁移框架，通过特征逐元素线性调制（FiLM）实现条件生成，并采用最大均值差异（MMD）实现稳定训练。MoVE 采用单一共享编码器-解码器架构与三维潜在空间，实现对多种乐器的可控、快速且高效的音色迁移，在小规模数据集上实现了高质量的音频重建与合成。

ABSTRACT

Generative models have been successfully applied to image style transfer and domain translation. However, there is still a wide gap in the quality of results when learning such tasks on musical audio. Furthermore, most translation models only enable one-to-one or one-to-many transfer by relying on separate encoders or decoders and complex, computationally-heavy models. In this paper, we introduce the Modulated Variational auto-Encoders (MoVE) to perform musical timbre transfer. We define timbre transfer as applying parts of the auditory properties of a musical instrument onto another. First, we show that we can achieve this task by conditioning existing domain translation techniques with Feature-wise Linear Modulation (FiLM). Then, we alleviate the need for additional adversarial networks by replacing the usual translation criterion by a Maximum Mean Discrepancy (MMD) objective. This allows a faster and more stable training along with a controllable latent space encoder. By further conditioning our system on several different instruments, we can generalize to many-to-many transfer within a single variational architecture able to perform multi-domain transfers. Our models map inputs to 3-dimensional representations, successfully translating timbre from one instrument to another and supporting sound synthesis from a reduced set of control parameters. We evaluate our method in reconstruction and generation tasks while analyzing the auditory descriptor distributions across transferred domains. We show that this architecture allows for generative controls in multi-domain transfer, yet remaining light, fast to train and effective on small datasets.

研究动机与目标

• 为解决现有模型在音乐音色迁移中的局限性，特别是其对对抗训练的依赖、高计算成本以及无法在多种乐器间泛化的问题。
• 开发一种统一的轻量级架构，能够在无需为每个领域单独设置编码器或解码器的情况下实现多对多音色迁移。
• 通过基于音高、八度和乐器的三维潜在空间，实现对音频生成的高层级、显式控制。
• 通过音频描述符和感知度量评估模型在重建、迁移和生成合成方面的性能。
• 在保持稳定性和可控性的前提下，证明模型在小数据集上的有效性。

提出的方法

• MoVE 使用共享编码器和解码器的变分自编码器（VAE），通过特征逐元素线性调制（FiLM）进行条件控制，根据乐器、音高和八度调节音色特性。
• 训练目标以最大均值差异（MMD）替代对抗损失，提升了训练稳定性与速度，同时避免了模式崩溃。
• 潜在空间为三维，支持用户直接交互与平滑插值，适用于音色融合与声音合成。
• 领域信息被嵌入并用于调制网络内部层，实现在单一模型内的多领域迁移。
• 使用音频描述符（频谱质心、平坦度、滚降频率、响度）分析并验证迁移后音色的感知准确性。
• 模型在中等规模的单音符录音数据集上端到端训练，实现无需微调即可在多种乐器间进行音色迁移。

实验结果

研究问题

• RQ1 单一基于 VAE 的架构是否能够在不使用对抗训练或为每个领域单独设置解码器的情况下，实现多对多音乐音色迁移？
• RQ2 MMD 损失在替代对抗训练方面，是否能有效实现音频生成任务中的稳定且快速收敛？
• RQ3 三维潜在空间在多大程度上能够支持可控且具有感知意义的音色融合与合成？
• RQ4 模型在跨领域迁移过程中，是否能有效保持音频描述符（如频谱质心）的多模态分布？
• RQ5 通过在序列上分段处理实现窗口化重建，模型是否能实现对完整旋律片段的迁移？

主要发现

• 通过用 MMD 替代对抗损失，MoVE 实现了稳定且快速的训练，显著缩短训练时间，提升收敛速度，且未出现模式崩溃。
• 模型在重建音频时表现出低均方根误差（RMSE，如小提琴为 0.3271）和低频谱失真（LSD，如小提琴为 773.65），表明信号重建具有高保真度。
• 在多种乐器（高音萨克斯、长笛、小提琴、法国号）间迁移性能优异，MMD 值低于 3.5e-3，k-NN 分数低于 60k，表明领域迁移准确。
• 迁移样本中音频描述符分布（如频谱质心）与目标领域高度一致，证实了感知音色特性的成功迁移。
• 三维潜在空间支持平滑、连续的音色融合与直接用户控制，适用于基于高层参数的实时声音合成。
• 通过分段窗口化处理，模型成功实现了完整旋律片段的音色迁移，展示了其在真实音乐序列中的适用性。