[论文解读] Convolutional vs. Recurrent Neural Networks for Audio Source Separation

Shariq Mobin, Brian Cheung+1 more|arXiv (Cornell University)|Feb 12, 2018

Speech and Audio Processing被引用 4

一句话总结

该论文提出了一种基于卷积神经网络（CNN）的音频源分离方法，在参数量仅为循环神经网络（RNN）模型10分之一的情况下实现了最先进性能。该方法在更长序列、噪声环境和真实世界场景下表现出更优的鲁棒性和泛化能力，尤其在新提出的RealTalkLibri数据集（反映真实声学条件）上显著优于RNN模型。

ABSTRACT

Recent work has shown that recurrent neural networks can be trained to separate individual speakers in a sound mixture with high fidelity. Here we explore convolutional neural network models as an alternative and show that they achieve state-of-the-art results with an order of magnitude fewer parameters. We also characterize and compare the robustness and ability of these different approaches to generalize under three different test conditions: longer time sequences, the addition of intermittent noise, and different datasets not seen during training. For the last condition, we create a new dataset, RealTalkLibri, to test source separation in real-world environments. We show that the acoustics of the environment have significant impact on the structure of the waveform and the overall performance of neural network models, with the convolutional model showing superior ability to generalize to new environments. The code for our study is available at this https URL

研究动机与目标

• 比较卷积神经网络与循环神经网络在音频源分离任务中的模型效率与泛化能力。
• 评估模型在挑战性条件下的性能：更长序列、间歇性噪声以及未见过的数据集。
• 开发并发布RealTalkLibri数据集，用于测试在多样化声学环境下的泛化能力。
• 研究环境声学如何影响波形结构及模型性能。
• 证明尽管参数更少，CNN在新环境中的泛化能力仍优于RNN。

提出的方法

• 本研究采用类似U-Net的编码器-解码器CNN架构，并引入残差块，实现端到端的音频源分离。
• 模型在LibriCSS数据集上进行训练，使用监督损失函数以最小化分离源的重建误差。
• 通过在训练时未见过的更长测试序列上进行测试，评估模型的鲁棒性，模拟实时推理场景。
• 以间歇性脉冲噪声的形式引入噪声，评估模型对非平稳干扰的抗性。
• 通过RealTalkLibri数据集测试泛化能力，该数据集捕捉了真实世界中的房间声学特性与语音变化。
• 使用SDR、SIR和SAR等指标，将性能与强基准RNN模型在所有条件下进行对比。

实验结果

研究问题

• RQ1 卷积神经网络能否在参数量远少于循环网络的情况下实现最先进的音频源分离性能？
• RQ2 CNN与RNN模型在训练时长之外的更长音频序列上如何泛化？
• RQ3 间歇性噪声对CNN与RNN模型在源分离任务中的性能有何影响？
• RQ4 在合成数据上训练的模型在真实世界声学环境中的泛化程度如何？
• RQ5 环境声学如何影响波形结构及源分离任务中的模型性能？

主要发现

• 该CNN模型在音频源分离任务中实现了最先进性能，其参数量比RNN基线模型少一个数量级。
• 该CNN模型在更长的测试序列上显著优于RNN模型，即使超出其训练长度仍能保持高性能。
• 该CNN模型对间歇性噪声表现出更优的鲁棒性，在非平稳干扰下仍能保持高质量的源分离效果。
• RealTalkLibri数据集表明，环境声学显著影响波形结构并降低模型性能，尤其对RNN模型影响更大。
• 该CNN模型在未见过的真实世界环境中展现出更强的泛化能力，在RealTalkLibri基准测试中优于RNN模型。
• 本研究证实，真实世界声学是影响模型泛化能力的关键因素，而CNN对这些变化更具鲁棒性。