[论文解读] Efficient Neural Networks for Real-time Analog Audio Effect Modeling.

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|Feb 11, 2021

Speech and Audio Processing参考文献 39被引用 10

一句话总结

本文提出了一种轻量级、支持实时处理的神经网络，用于使用具有极大膨胀因子的浅层时间卷积网络（TCNs）建模模拟音频效果。通过利用广泛的感受野，该方法在仅使用先前方法1%的训练数据的情况下，实现了4倍的CPU推理速度提升，并达到了最先进性能，从而实现了对压缩器等复杂效果的感知上准确的实时建模。

ABSTRACT

Deep learning approaches have demonstrated success in the task of modeling analog audio effects such as distortion and overdrive. Nevertheless, challenges remain in modeling more complex effects, such as dynamic range compressors, along with their variable parameters. Previous methods are computationally complex, and noncausal, prohibiting real-time operation, which is critical for use in audio production contexts. They additionally utilize large training datasets, which are time-intensive to generate. In this work, we demonstrate that shallower temporal convolutional networks (TCNs) that exploit very large dilation factors for significant receptive field can achieve state-of-the-art performance, while remaining efficient. Not only are these models found to be perceptually similar to the original effect, they achieve a 4x speedup, enabling real-time operation on CPU, and can be trained using only 1% of the data from previous methods.

研究动机与目标

• 解决先前深度学习模型在模拟音频效果方面计算效率低下且非因果设计的问题，这些问题阻碍了实时音频制作应用。
• 减少训练神经音频效果模型所需的数据量，因为这些数据通常生成耗时。
• 通过设计一种轻量级、因果的架构，实现实时推理，使其适用于现场音频处理。
• 在建模复杂效果（如动态范围压缩器）方面实现高感知保真度，而这些效果对现有方法而言具有挑战性。
• 证明浅层TCN结合大膨胀因子可在显著降低模型复杂度的同时，达到或超越最先进性能。

提出的方法

• 采用具有极大膨胀因子的浅层时间卷积网络（TCNs），在不增加模型深度的情况下实现大的有效感受野。
• 设计因果架构，通过在网络计算中保持时间因果性，确保实时推理。
• 使用轻量级网络结构，最大限度减少FLOPs，实现在标准CPU上的实时运行。
• 仅使用先前方法所需1%的训练数据进行模型训练，通过大感受野实现高效的特征学习。
• 通过客观和主观评估指标优化网络，使其输出与原始模拟效果在感知上高度相似。

实验结果

研究问题

• RQ1 浅层TCN结合大膨胀因子是否能在保持计算高效的同时，实现模拟音频效果建模的最先进性能？
• RQ2 与先前方法相比，该模型在不牺牲感知质量的前提下，能在多大程度上减少数据需求？
• RQ3 所提出的架构是否能实现实时推理（在CPU上），使其适用于现场音频制作？
• RQ4 该模型在建模复杂效果（如动态范围压缩器）方面表现如何，这些效果比失真或过载更具挑战性？

主要发现

• 所提出的基于TCN的模型相比先前方法实现了4倍的推理速度提升，支持在CPU上实现实时运行。
• 该模型仅需先前方法1%的训练数据，显著降低了数据生成成本。
• 感知评估证实，即使对于复杂的压缩器，该模型的输出也与原始模拟效果高度相似。
• 通过高膨胀因子实现的大感受野，使模型能够准确捕捉音频信号中的长期时间依赖关系。
• 该架构保持了因果性，确保与实时音频处理流水线的兼容性。