[论文解读] A general-purpose deep learning approach to model time-varying audio effects

M Martinez Ramirez, Emmanouil Benetos+1 more|arXiv (Cornell University)|May 15, 2019

Speech and Audio Processing参考文献 30被引用 13

一句话总结

本文提出一种通用深度学习模型，结合卷积神经网络与循环神经网络——特别是双向长短期记忆（Bi-LSTM）层——以黑箱方式学习时变音频效果，无需依赖特定电路知识。该模型成功模拟了多种线性和非线性效果，包括合唱、镶边、相位器、震音、环形调制器、莱斯利音箱和压缩器，通过基于调制谱相似性的新型客观度量指标，实现了感知上准确的结果。

ABSTRACT

Audio processors whose parameters are modified periodically over time are often referred as time-varying or modulation based audio effects. Most existing methods for modeling these type of effect units are often optimized to a very specific circuit and cannot be efficiently generalized to other time-varying effects. Based on convolutional and recurrent neural networks, we propose a deep learning architecture for generic black-box modeling of audio processors with long-term memory. We explore the capabilities of deep neural networks to learn such long temporal dependencies and we show the network modeling various linear and nonlinear, time-varying and time-invariant audio effects. In order to measure the performance of the model, we propose an objective metric based on the psychoacoustics of modulation frequency perception. We also analyze what the model is actually learning and how the given task is accomplished.

研究动机与目标

• 开发一种通用的深度学习框架，能够在无需特定模拟电路专业知识的情况下，建模多种时变音频效果。
• 解决现有虚拟模拟方法的局限性，即其依赖特定电路且难以在不同效果类型间迁移。
• 探究深度神经网络是否能够学习调制类音频效果中固有的长期时序依赖性。
• 提出一种基于调制谱的感知驱动客观评估指标，用于衡量模型性能。
• 展示该模型在具有长期记忆能力的时变与时不变音频效果之间具备良好的泛化能力。

提出的方法

• 该模型采用混合架构，结合卷积层进行局部特征提取，以及双向长短期记忆（Bi-LSTM）网络以捕捉音频信号中的长期时序依赖性。
• 以原始音频波形作为输入，端到端训练以预测给定时变效果任务的输出音频。
• 该架构旨在学习基于内容的变换，而无需显式求解底层时变系统方程。
• 提出一种基于调制谱带之间欧几里得距离的新型客观度量指标，反映调制频率的听觉感知特性。
• 在每类效果的少量音频样本上进行训练，实现对多样化效果设备的泛化能力。
• 该方法在包括复杂非线性（如环形调制和多普勒效应）在内的线性和非线性时变效果上进行了评估。

实验结果

研究问题

• RQ1 深度神经网络是否能够在不了解底层电路结构的前提下，学习建模时变音频效果所必需的长期时序依赖性？
• RQ2 单一深度学习架构在多类调制类音频效果（包括线性和非线性类型）上的泛化能力达到何种程度？
• RQ3 该模型在模拟复杂效果（如莱斯利音箱）方面表现如何，该类效果结合了幅度、音高和空间调制以及人工混响？
• RQ4 所提出的基于调制谱的度量指标是否与感知质量相关，并能提供可靠、客观的性能衡量标准？
• RQ5 该模型是否能有效利用相同架构学习具有长期记忆的时不变效果（如压缩器和自动 wah）？

主要发现

• 该模型成功模拟了广泛的时变音频效果，包括合唱、镶边、相位器、震音、震音、自动 wah、环形调制器和莱斯利音箱，结果具有感知准确性。
• 在压缩器和多频段压缩器等时不变效果上，模型实现了较低的平均绝对误差（MAE），表明其性能强劲，即使未显式建模交叉滤波器。
• 所提出的基于调制谱的度量指标能有效捕捉感知差异，并与人类对调制效果的感知高度相关。
• 该模型在不同乐器和效果类型之间表现出良好的泛化能力，学习变换过程无需依赖特定电路假设。
• 在最高频段和噪声电平方面观察到轻微偏差，提示可通过提高滤波器组分辨率或引入时频损失函数进一步优化。
• 该模型对非线性具有鲁棒性，成功模拟了涉及多重非线性相互作用的复杂效果，如环形调制器和莱斯利音箱。