[论文解读] MMDenseLSTM: An efficient combination of convolutional and recurrent neural networks for audio source separation

Naoya Takahashi, Nabarun Goswami+1 more|arXiv (Cornell University)|May 7, 2018

Speech and Audio Processing被引用 6

一句话总结

该论文提出MMDenseLSTM，一种新颖的架构，通过将多尺度、多带长短期记忆网络（LSTM）与DenseNet结合，以提升音频源分离性能。通过在上采样路径的低尺度处战略性地插入LSTM层并利用跳跃连接，该模型在DSD100和MUSDB18数据集上实现了最先进性能，优于MMDenseNet和混合LSTM-CNN模型，同时参数量减少24倍，并在 vocal 和伴奏分离任务上超越了理想二值掩码。

ABSTRACT

Deep neural networks have become an indispensable technique for audio source separation (ASS). It was recently reported that a variant of CNN architecture called MMDenseNet was successfully employed to solve the ASS problem of estimating source amplitudes, and state-of-the-art results were obtained for DSD100 dataset. To further enhance MMDenseNet, here we propose a novel architecture that integrates long short-term memory (LSTM) in multiple scales with skip connections to efficiently model long-term structures within an audio context. The experimental results show that the proposed method outperforms MMDenseNet, LSTM and a blend of the two networks. The number of parameters and processing time of the proposed model are significantly less than those for simple blending. Furthermore, the proposed method yields better results than those obtained using ideal binary masks for a singing voice separation task.

研究动机与目标

• 通过结合卷积网络与循环网络的优势，提升音频源分离（ASS）性能。
• 解决标准CNN和RNN在高效使用参数的前提下建模长期音频依赖关系的局限性。
• 设计一种混合架构，利用多尺度与多带特征学习，提升建模灵活性与性能。
• 相比LSTM与CNN架构的简单拼接，降低模型复杂度与训练时间。
• 在基准数据集（DSD100与MUSDB18）上实现最先进结果，同时保持计算效率。

提出的方法

• 该方法提出MMDenseLSTM，一种混合架构，将多尺度、多带DenseNet与在上采样路径多个尺度插入的LSTM结合。
• 在相同尺度的密集块与LSTM层之间引入跳跃连接，以增强梯度流动与特征复用。
• 采用多带设计，每个频带由专用CNN处理，提升对全带核的建模灵活性。
• 在上采样路径的低尺度（如尺度3）插入LSTM层，利用局部特征高效建模全局调制。
• 模型结合一维卷积、批量归一化、ReLU与密集连接，以实现高效的特征学习与梯度流动。
• 消融研究对比了不同LSTM插入策略与配置（Sa、Sb、P类型），识别出最优架构。

实验结果

研究问题

• RQ1 在多带DenseNet架构中于多个尺度集成LSTM是否能提升音频源分离性能？
• RQ2 在上采样路径的低尺度插入LSTM是否优于在高尺度或下采样路径插入？
• RQ3 所提出的MMDenseLSTM架构是否能在SDR与参数效率方面超越MMDenseNet与LSTM和MMDenseNet的简单混合模型？
• RQ4 当在更大规模数据集上训练时，该混合模型是否能超越理想二值掩码（IBM）基线？
• RQ5 在多尺度、多带设置下，组合密集块与LSTM层的最佳配置（如Sa、Sb、P）是什么？

主要发现

• 在DSD100数据集上，MMDenseLSTM的平均SDR达到12.73 dB，优于MMDenseNet（12.10 dB）0.63 dB，优于BLEND（11.70 dB）1.03 dB。
• 在MUSDB18数据集上，MMDenseLSTM的平均SDR达到16.40 dB，优于MMDenseNet（15.41 dB）0.99 dB，优于BLEND2（16.04 dB）0.36 dB。
• 该模型在伴奏源分离上超越了理想二值掩码（IBM），在MUSDB18上IBM为10.83 dB，而MMDenseLSTM达到16.40 dB。
• 尽管仅使用122万个参数，MMDenseLSTM的性能仍优于LSTM与MMDenseNet的简单混合模型（3036万个参数），展现出24倍的参数效率。
• Sa配置（在尺度3的密集块后插入LSTM）性能最佳，证实了尺度位置的重要性。
• LSTM特征图的$l^2$范数与密集特征图中的最高范数相当，表明LSTM学习到了显著且非冗余的表征。