[论文解读] Audio Source Separation via Multi-Scale Learning with Dilated Dense U-Nets

Vivek Narayanaswamy, Sameeksha Katoch+3 more|arXiv (Cornell University)|Apr 8, 2019

Speech and Audio Processing参考文献 16被引用 5

一句话总结

本文提出了一种用于音频源分离的空洞密集U-Net架构，用自适应空洞卷积和密集跳跃连接替代了Wave-U-Net中的基于重采样的多尺度特征提取方法。该方法在MUSDB18数据集上实现了最先进性能，通过增强时间建模和梯度流动，使SDR提升了0.2–1.2 dB。

ABSTRACT

Modern audio source separation techniques rely on optimizing sequence model architectures such as, 1D-CNNs, on mixture recordings to generalize well to unseen mixtures. Specifically, recent focus is on time-domain based architectures such as Wave-U-Net which exploit temporal context by extracting multi-scale features. However, the optimality of the feature extraction process in these architectures has not been well investigated. In this paper, we examine and recommend critical architectural changes that forge an optimal multi-scale feature extraction process. To this end, we replace regular $1-$D convolutions with adaptive dilated convolutions that have innate capability of capturing increased context by using large temporal receptive fields. We also investigate the impact of dense connections on the extraction process that encourage feature reuse and better gradient flow. The dense connections between the downsampling and upsampling paths of a U-Net architecture capture multi-resolution information leading to improved temporal modelling. We evaluate the proposed approaches on the MUSDB test dataset. In addition to providing an improved performance over the state-of-the-art, we also provide insights on the impact of different architectural choices on complex data-driven solutions for source separation.

研究动机与目标

• 通过用空洞卷积替代重采样，改进时域音频源分离中的多尺度特征提取。
• 研究密集连接对深层U-Net架构的影响，以改善梯度流动和特征重用。
• 在MUSDB18数据集上孤立评估架构选择，排除大输入上下文等混淆因素的影响。
• 证明自适应膨胀与密集连接的结合可显著提升音频处理中病态逆问题的性能。

提出的方法

• 将U-Net中的标准1D卷积替换为自适应空洞卷积，以在不增加参数量的情况下扩大时间感受野。
• 采用一种自适应膨胀方案，逐层递增膨胀率，以捕捉多分辨率的时间上下文。
• 在编码器与解码器路径之间引入密集连接，以促进特征重用并缓解梯度消失问题。
• 采用基于U-Net的编码器-解码器结构并结合跳跃连接，实现在时域上的端到端源分离。
• 通过随机幅度缩放进行数据增强，并在16,384样本的片段上使用Adam优化器进行训练。
• 使用MUSDB18测试集上的平均值和中值信噪比（SDR）评估性能。

实验结果

研究问题

• RQ1 用自适应空洞卷积替代重采样是否能改善时域源分离中的多尺度特征提取？
• RQ2 在U-Net-based源分离模型中，随着网络深度增加，密集连接对性能有何影响？
• RQ3 自适应膨胀与密集连接的结合是否能在MUSDB18数据集上超越Wave-U-Net基线？
• RQ4 架构选择（如膨胀策略和跳跃连接）在复杂音频逆问题中对SDR性能的影响程度如何？

主要发现

• 所提出的空洞密集U-Net在MUSDB18测试集上对人声的平均SDR达到-2.986 dB，优于Wave-U-Net的-3.292 dB。
• 对于鼓声，该方法的平均SDR达到2.449 dB，相比Wave-U-Net的1.435 dB提升了1.014 dB。
• 自适应膨胀方案显著优于固定膨胀和标准1D卷积，证明了上下文感知感受野的重要性。
• 随着网络深度增加，密集连接带来显著性能提升，尤其在包含3个模块的深层架构中表现更优。
• 自适应膨胀与密集连接的结合在所有声源（人声、鼓声、低音及其他）上均实现一致的SDR提升。
• 性能增益具有鲁棒性，各类声源的提升范围在0.2 dB至1.2 dB之间，证实了架构设计在数据驱动音频处理中的关键作用。