[论文解读] Exploring Quality and Generalizability in Parameterized Neural Audio Effects

William Mitchell, Scott H. Hawley|arXiv (Cornell University)|Jun 9, 2020

Music and Audio Processing被引用 4

一句话总结

该论文通过提升波形域中的速度、精度和泛化能力，改进了SignalTrain神经网络在参数化音频效果建模中的表现。实验表明，将数据集限制为单一乐器内容可显著提升模型精度，且无需增加训练时间，同时成功实现了44.1kHz/16-bit音质下的多种效果建模，包括压缩器和Leslie音栓模拟。

ABSTRACT

Deep neural networks have shown promise for music audio signal processing applications, often surpassing prior approaches, particularly as end-to-end models in the waveform domain. Yet results to date have tended to be constrained by low sample rates, noise, narrow domains of signal types, and/or lack of parameterized controls (i.e. "knobs"), making their suitability for professional audio engineering workflows still lacking. This work expands on prior research published on modeling nonlinear time-dependent signal processing effects associated with music production by means of a deep neural network, one which includes the ability to emulate the parameterized settings you would see on an analog piece of equipment, with the goal of eventually producing commercially viable, high quality audio, i.e. 44.1 kHz sampling rate at 16-bit resolution. The results in this paper highlight progress in modeling these effects through architecture and optimization changes, towards increasing computational efficiency, lowering signal-to-noise ratio, and extending to a larger variety of nonlinear audio effects. Toward these ends, the strategies employed involved a three-pronged approach: model speed, model accuracy, and model generalizability. Most of the presented methods provide marginal or no increase in output accuracy over the original model, with the exception of dataset manipulation. We found that limiting the audio content of the dataset, for example using datasets of just a single instrument, provided a significant improvement in model accuracy over models trained on more general datasets.

研究动机与目标

• 解决先前神经音频效果模型的局限性，如采样率低、噪声大以及缺乏参数化控制。
• 通过实现44.1kHz/16-bit音频质量，提升SignalTrain模型在专业音频工作流程中的适用性。
• 通过架构设计与优化策略，提升模型效率、精度与泛化能力。
• 证明模型在多种非线性音频效果（包括模拟与数字类型）上的泛化能力。
• 研究数据集构成（特别是单一乐器与混合乐器数据）对模型性能的影响。

提出的方法

• 在波形域中训练SignalTrain模型，以保留相位与频率信息，避免使用频谱图方法。
• 引入可训练的虚拟“旋钮”，以模拟模拟音频设备中常见的参数化控制。
• 采用三管齐下的策略：提升模型速度（如冻结傅里叶层）、提升模型精度（延长训练时间、数据集筛选）以及提升模型泛化能力。
• 使用更大的输入缓冲区大小（最高达98,304个样本），以捕捉Leslie音栓合唱与震音等效果的振荡特性。
• 引入跳跃连接（skip connections），在不增加训练时间的前提下提升训练稳定性与损失降低效果。
• 通过AudioMDPI数据集与自录数据集进行模型性能评估，采用验证损失与主观听感相结合的方式。

实验结果

研究问题

• RQ1 在波形域中使用参数化旋钮的神经网络能否在44.1kHz/16-bit分辨率下实现高保真音频效果？
• RQ2 将训练数据限制为单一乐器内容，对模型精度与泛化能力有何影响？
• RQ3 架构选择（如冻结傅里叶层与跳跃连接）对训练速度与损失收敛有何影响？
• RQ4 SignalTrain模型能否在多种非线性音频效果（包括模拟Leslie音栓与数字压缩器）上实现泛化？
• RQ5 输入缓冲区大小与振荡信号特征如何影响合唱与震音等效果的模型训练？

主要发现

• 将训练数据集限制为单一乐器内容，显著提升了模型精度，且未增加训练时间，优于在混合乐器数据上训练的模型。
• 在51.35小时的训练后，模型在Leslie Woofer震音效果上的最终验证损失为1.225e-4，表明尽管计算成本较高，仍实现了有效学习。
• 训练超过1,000个周期后，损失仅获得微小改善，音频质量也无明显提升，表明收益递减。
• 冻结傅里叶变换层虽提升了训练速度，但导致模型精度大幅下降，因此该权衡不可取。
• 跳跃连接未增加训练时间，但显著降低了损失，有助于提升收敛性与模型稳定性。
• 模型成功泛化至模拟效果（如Leslie音栓）与数字效果（如HackAudio压缩器），证明其在多样化音频处理任务中的广泛适用性。