[论文解读] Efficient neural networks for real-time modeling of analog dynamic range compression

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|Feb 11, 2021

Structural Health Monitoring Techniques被引用 9

一句话总结

本文提出一种因果、计算高效的时序卷积网络（TCN），采用快速增长的膨胀因子，实现实时在CPU上建模模拟LA-2A动态范围压缩器。通过使用稀疏膨胀卷积，该模型以较少层数实现大感受野，仅用10分钟训练数据即达到最先进性能，同时在听音测试中保持感知保真度。

ABSTRACT

Deep learning approaches have demonstrated success in modeling analog audio effects. Nevertheless, challenges remain in modeling more complex effects that involve time-varying nonlinear elements, such as dynamic range compressors. Existing neural network approaches for modeling compression either ignore the device parameters, do not attain sufficient accuracy, or otherwise require large noncausal models prohibiting real-time operation. In this work, we propose a modification to temporal convolutional networks (TCNs) enabling greater efficiency without sacrificing performance. By utilizing very sparse convolutional kernels through rapidly growing dilations, our model attains a significant receptive field using fewer layers, reducing computation. Through a detailed evaluation we demonstrate our efficient and causal approach achieves state-of-the-art performance in modeling the analog LA-2A, is capable of real-time operation on CPU, and only requires 10 minutes of training data.

研究动机与目标

• 开发一种用于模拟动态范围压缩（特别是LA-2A压缩器）的实时因果神经网络模型。
• 克服先前非因果或计算量过大的模型在实时音频处理中的局限性。
• 在保持高感知保真度的同时，降低模型复杂度与推理成本。
• 评估数据集大小对模型性能的影响，特别是极小数据量下的表现。
• 实现在专业音频工程工作流程中实际部署神经音频效果模型。

提出的方法

• 该方法采用改进的时序卷积网络（TCN），通过因果掩码膨胀卷积确保实时运行。
• 采用快速增长的膨胀因子（例如：1, 2, 4, 8, 16, 32, 64, 128）以最少层数实现大感受野。
• 通过该膨胀调度强制实现稀疏卷积核，减少参数量与计算量。
• 通过多层感知机（MLP）对设备参数进行条件控制，调节每一层的增益与偏置。
• 训练采用预测输出与实测LA-2A响应之间均方误差损失。
• 通过客观指标与由经验音频工程师参与的多刺激MUSHRA听音测试对模型进行评估。

实验结果

研究问题

• RQ1 能否通过因果、高效的TCN架构在实现LA-2A压缩器最先进建模性能的同时，实现实时CPU运行？
• RQ2 与标准TCN相比，快速增长膨胀因子的使用对模型性能与计算效率有何影响？
• RQ3 实现LA-2A压缩器高保真建模所需的最小训练数据量是多少？
• RQ4 与原始模拟设备及先前神经模型相比，该模型的感知保真度如何？
• RQ5 该模型能否在不引入可听失真的前提下，对多样化音频内容与控制参数设置实现良好泛化？

主要发现

• 所提出的因果TCN结合稀疏快速膨胀机制，在建模LA-2A压缩器方面达到最先进性能，优于先前的非因果与计算量过大的模型。
• 该模型可在CPU上实时运行，支持在数字音频工作站与插件环境中的实际部署。
• 仅需10分钟训练数据（全数据集的1%）即可实现高质量建模，显著降低数据需求。
• 18位经验音频工程师参与的听音测试显示，该模型与参考LA-2A之间无显著感知差异（p_adj = 0.37），尽管两者均略逊于原始设备。
• 该模型优于SignalTrain基线模型，后者引入了明显的噪声类失真；在某些情况下，其评分显著优于参考模型，原因在于瞬态响应差异。
• Kruskal-Wallis H检验确认参考模型与LSTM-32及所提TCN-300-C模型的中位数评分存在显著差异（p < 0.001），表明听者能够察觉细微差别。