[论文解读] DDX7: Differentiable FM Synthesis of Musical Instrument Sounds

Franco Caspe, Andrew McPherson+1 more|arXiv (Cornell University)|Aug 12, 2022

Music and Audio Processing被引用 12

一句话总结

DDX7 提出了一种轻量级、可微分的FM合成模型，通过深度神经网络实现对经典雅马哈DX7合成器的连续、音频驱动控制。通过施加音色配置约束并使用因果TCN从音频特征预测FM参数，DDX7仅用6个参数即可实现高质量重合成，其感知质量与更复杂的基线模型相当或更优，同时保持了实时性能的适用性。

ABSTRACT

FM Synthesis is a well-known algorithm used to generate complex timbre from a compact set of design primitives. Typically featuring a MIDI interface, it is usually impractical to control it from an audio source. On the other hand, Differentiable Digital Signal Processing (DDSP) has enabled nuanced audio rendering by Deep Neural Networks (DNNs) that learn to control differentiable synthesis layers from arbitrary sound inputs. The training process involves a corpus of audio for supervision, and spectral reconstruction loss functions. Such functions, while being great to match spectral amplitudes, present a lack of pitch direction which can hinder the joint optimization of the parameters of FM synthesizers. In this paper, we take steps towards enabling continuous control of a well-established FM synthesis architecture from an audio input. Firstly, we discuss a set of design constraints that ease spectral optimization of a differentiable FM synthesizer via a standard reconstruction loss. Next, we present Differentiable DX7 (DDX7), a lightweight architecture for neural FM resynthesis of musical instrument sounds in terms of a compact set of parameters. We train the model on instrument samples extracted from the URMP dataset, and quantitatively demonstrate its comparable audio quality against selected benchmarks.

研究动机与目标

• 实现对成熟FM合成器（雅马哈DX7）的连续、基于音频的控制，以支持实时音乐应用。
• 解决标准频谱重建损失在可微分合成训练过程中缺乏音高方向性的问题。
• 开发一种轻量级、可解释的模型，从音频输入学习控制FM参数，避免高维参数空间的复杂性。
• 通过保持因果、实时推理能力，确保与现场表演的兼容性。

提出的方法

• 该模型使用因果时间卷积网络（TCN）从连续音频特征预测FM合成参数（载波频率、调制器频率、调制深度和包络形状）。
• 施加音色配置约束，以限制振荡器数量及其互连方式，确保模型学习控制一个紧凑且具有音乐意义的FM架构。
• 使用标准频谱重建损失（如STFT损失）进行训练，重点最小化各频带的振幅误差。
• FM合成引擎完全可微分，支持反向传播通过合成过程以优化网络权重。
• 该架构将原始DX7的ADSR包络替换为从输入音频推断出的可学习、时变包络。
• 模型在URMP数据集的乐器特定配置上，通过弗雷希音频距离（FAD）和消融实验进行评估。

实验结果

研究问题

• RQ1 可微分FM合成模型是否能仅用少量参数实现高质量的乐器音色重合成，同时保持实时兼容性？
• RQ2 对FM架构施加音色配置约束，是否会影响模型在复杂音色重建方面与更复杂基线模型的性能对比？
• RQ3 DNN在多大程度上能直接从音频输入推断出有意义的FM参数（如调制深度、频率比、包络形状）？
• RQ4 模型性能是否因具有不同频谱特性的乐器而异？如果是，原因是什么？
• RQ5 轻量级、因果架构如DDX7是否能在保持低计算成本的同时，超越更复杂模型在感知质量上的表现？

主要发现

• DDX7仅使用6个参数即实现具有竞争力的重合成质量，在使用最优 $I_{ ext{max}}$ 设置时，其FAD得分优于更复杂的121参数基线模型（HpN）在长笛和小提琴上的表现。
• 在长笛和小提琴上，DDX7在 $I_{ ext{max}} = 2$ 时达到最佳FAD性能；在小号上则在 $I_{ ext{max}} = 2\pi$ 时表现最佳，表明不同乐器存在特定的最优调制深度范围。
• 在小提琴和长笛上，6振荡器配置的DDX7优于消融实验中的2振荡器配置，表明增加振荡器自由度可提升这些乐器的重建质量。
• 在小号上，2振荡器配置优于4和6振荡器版本，表明模型复杂度并非总能提升性能，且可能因次优音色设计而受阻。
• 2振荡器的小号模型甚至在FAD上优于HpN基线，证明即使参数极简，也能实现高质量的重合成。
• 当 $I_{ ext{max}}$ 过高时，模型表现出不稳定性，导致音色不自然且房间响应估计性能下降，表明需谨慎调整超参数。