[论文解读] Music Source Separation Using Stacked Hourglass Networks

Sungheon Park, Taehoon Kim+2 more|arXiv (Cornell University)|May 22, 2018

Speech and Audio Processing被引用 12

一句话总结

本文提出一种堆叠的沙漏网络用于音乐源分离，通过从频谱图中学习多尺度特征来生成精细化的源掩码。尽管方法简单，但在 MIR-1K 和 DSD100 数据集上取得了具有竞争力的性能，通过堆叠优化，SDR 提升最高达 2.4 dB，优于先前方法在人声与伴奏分离任务中的表现。

ABSTRACT

In this paper, we propose a simple yet effective method for multiple music source separation using convolutional neural networks. Stacked hourglass network, which was originally designed for human pose estimation in natural images, is applied to a music source separation task. The network learns features from a spectrogram image across multiple scales and generates masks for each music source. The estimated mask is refined as it passes over stacked hourglass modules. The proposed framework is able to separate multiple music sources using a single network. Experimental results on MIR-1K and DSD100 datasets validate that the proposed method achieves competitive results comparable to the state-of-the-art methods in multiple music source separation and singing voice separation tasks.

研究动机与目标

• 开发一种简单而有效的深度学习框架，用于使用卷积神经网络进行多音乐源分离。
• 将原本为人体姿态估计设计的堆叠沙漏架构适配至音频频谱图处理，以实现源分离。
• 通过多尺度特征提取与堆叠沙漏模块间的迭代掩码优化，提升分离性能。
• 通过使用单一网络实现多源分离，降低模型复杂度，减少训练与推理开销。
• 在人声分离与多乐器分离任务上评估该方法，展示其在多样化音频源上的鲁棒性。

提出的方法

• 该方法将单声道音频混合的频谱图作为输入，将其视为二维单通道图像进行 CNN 处理。
• 堆叠沙漏模块通过跳跃连接捕捉来自低分辨率特征图的全局上下文信息与来自高分辨率图的细粒度细节。
• 每个沙漏模块通过转置卷积执行下采样后上采样，生成与输入频谱图维度一致的 3D 输出张量。
• 每个模块的输出通道数等于目标音乐源的数量，从而实现对每个源的端到端掩码预测。
• 多个沙漏模块被堆叠，前一模块的输出作为下一模块的输入，实现源掩码的逐步优化。
• 在每个沙漏阶段应用中间监督，以加速训练过程中的收敛并提升特征学习效果。

实验结果

研究问题

• RQ1 原本为人体姿态估计设计的堆叠沙漏网络架构，能否被有效复用于音乐源分离任务？
• RQ2 与单阶段网络相比，堆叠沙漏模块中多尺度特征学习如何提升源分离性能？
• RQ3 通过堆叠模块实现的迭代掩码优化，在多大程度上提升了分离音频源的质量？
• RQ4 在 MIR-1K 和 DSD100 等标准基准测试中，堆叠沙漏网络的性能与最先进方法相比如何？
• RQ5 当分离高度相似的音源（如贝斯与其他乐器）时，该方法存在哪些局限性？

主要发现

• 在 DSD100 数据集上，堆叠沙漏网络在人声分离任务中达到 5.45 dB 的中位 SDR，在伴奏分离任务中达到 12.14 dB，优于所有基线方法，仅低于最先进方法 MM-DenseNet。
• 在多乐器分离任务（贝斯、鼓、其他、人声）中，该方法分别取得 1.77 dB、4.11 dB、2.36 dB 和 5.16 dB 的中位 SDR，显示出在人声与鼓音分离中的优异表现。
• 从第一层到最后一层沙漏模块，SDR 提升了约 2.4 dB，证明了迭代优化的有效性。
• 最后一层沙漏模块生成的估计频谱图更准确地捕捉了低频细节（0–500 Hz），并在 2000–3000 Hz 频段减少了伪影。
• 由于人声与伴奏在频谱上区分度更清晰，该方法在人声分离任务中表现更优；而对贝斯与其他音源的分离性能较低，主要因声学特性相似。
• 该框架通过单一统一网络实现具有竞争力的结果，相比多网络或多阶段方法，显著降低了计算与内存开销。