[论文解读] A Feature Learning Siamese Model for Intelligent Control of the Dynamic Range Compressor

Sheng Di, György Fazekas|arXiv (Cornell University)|May 1, 2019

Music and Audio Processing参考文献 27被引用 4

一句话总结

本文提出一种孪生深度神经网络（DNN）模型，通过单个参考音频学习通用音频特征嵌入，以智能控制动态范围压缩（DRC）参数——阈值、比率、启动时间与释放时间。该模型在同时预测多个参数时优于手工设计特征，尤其在单声道乐器循环和多声部音乐中均实现了更低的平均绝对误差（MAE），展现出更强的泛化能力与鲁棒性。

ABSTRACT

In this paper, a siamese DNN model is proposed to learn the characteristics of the audio dynamic range compressor (DRC). This facilitates an intelligent control system that uses audio examples to configure the DRC, a widely used non-linear audio signal conditioning technique in the areas of music production, speech communication and broadcasting. Several alternative siamese DNN architectures are proposed to learn feature embeddings that can characterise subtle effects due to dynamic range compression. These models are compared with each other as well as handcrafted features proposed in previous work. The evaluation of the relations between the hyperparameters of DNN and DRC parameters are also provided. The best model is able to produce a universal feature embedding that is capable of predicting multiple DRC parameters simultaneously, which is a significant improvement from our previous research. The feature embedding shows better performance than handcrafted audio features when predicting DRC parameters for both mono-instrument audio loops and polyphonic music pieces.

研究动机与目标

• 开发一种通用的、端到端可训练的特征学习模型，能够同时预测多个DRC参数，克服以往手工设计特征集的局限性。
• 通过用一个统一模型替代四个独立的回归模型，降低计算复杂度。
• 通过学习不变的音频表征，提升在多样化音频材料（包括复杂的多声部音乐）上的鲁棒性与泛化能力。
• 评估不同DNN架构和输入表征（如高分辨率频谱图）在学习判别性DRC相关特征方面的有效性。
• 在预测精度与跨不同音频内容的泛化能力方面，对比学习到的特征嵌入与手工特征的表现。

提出的方法

• 采用孪生DNN架构，其中两个相同的子网络分别处理参考音频与输入音频，特征嵌入由其最后一层输出的L2差值计算得出。
• 使用对比损失进行训练，以学习紧凑且具有判别性的嵌入空间，使相似的DRC参数配置在嵌入空间中彼此靠近。
• 输入表征包括高分辨率时频谱图（如64×625）和多分辨率谱图，其中前者表现更优。
• 将学习到的特征嵌入作为传统回归模型的输入，用于预测DRC参数，从而与手工特征进行对比。
• 模型变体包括标准CNN、多核CNN和残差网络，超参数经调优以优化DRC参数预测性能。
• 训练数据通过在DRC参数范围内进行网格搜索生成（如：阈值：10–49 dB，比率：1.28–20，启动时间：1–98.5 ms，释放时间：10–985 ms），构建大规模数据集用于评估。

实验结果

研究问题

• RQ1 一个单一的深度神经网络能否学习到一种在多个DRC参数（阈值、比率、启动时间、释放时间）上均具有泛化能力的通用特征嵌入？
• RQ2 当同时预测多个DRC参数时，学习到的特征嵌入相较于手工特征在性能上如何？
• RQ3 输入表征的选择（如高分辨率谱图与多分辨率谱图）是否显著影响所学嵌入的质量？
• RQ4 模型架构（如标准CNN与多核CNN）如何影响特征嵌入在不同类型音频上的泛化能力与鲁棒性？
• RQ5 当模型在简单鼓组循环上进行训练时，其在复杂多声部音乐上的泛化能力是否更强？为何在更丰富的音频内容上性能可能提升？

主要发现

• 采用高分辨率谱图作为输入的孪生DNN模型表现最佳，优于手工特征及其他DNN架构。
• 在四参数预测中，模型对阈值的平均绝对误差（MAE）为2.369 dB，对比率的MAE为3.265，对启动时间的MAE为10.868 ms，对释放时间的MAE为79.045 ms——显著低于手工特征。
• 在MedleyDB数据集的多声部音乐上测试时，学习到的嵌入对阈值的MAE为1.697 dB，对启动时间的MAE为9.873 ms，优于手工特征（分别为11.585 dB和26.628 ms）。
• 出人意料的是，模型在复杂多声部音乐上的泛化能力优于仅在鼓组循环上训练的模型，表明更丰富的音频内容可能有助于提升特征学习。
• 与预测两个参数相比，预测四个参数时性能下降，表明更大的网格尺寸和更高的数据复杂度可能需要更精细的超参数调优或更多训练数据。
• 该模型表明，单一统一的DNN可替代四个独立的回归模型，降低计算复杂度并提升特征泛化能力。