[论文解读] Hybrid Spectrogram and Waveform Source Separation

Alexandre Défossez|arXiv (Cornell University)|Nov 5, 2021

Speech and Audio Processing参考文献 30被引用 71

一句话总结

本文提出 Hybrid Demucs，一个端到端模型，结合时域（波形）和频谱域用于音乐源分离，在仅波形和仅频谱的方法上实现改进并在 MDX 2021 比赛中获胜。

ABSTRACT

Source separation models either work on the spectrogram or waveform domain. In this work, we show how to perform end-to-end hybrid source separation, letting the model decide which domain is best suited for each source, and even combining both. The proposed hybrid version of the Demucs architecture won the Music Demixing Challenge 2021 organized by Sony. This architecture also comes with additional improvements, such as compressed residual branches, local attention or singular value regularization. Overall, a 1.4 dB improvement of the Signal-To-Distortion (SDR) was observed across all sources as measured on the MusDB HQ dataset, an improvement confirmed by human subjective evaluation, with an overall quality rated at 2.83 out of 5 (2.36 for the non hybrid Demucs), and absence of contamination at 3.04 (against 2.37 for the non hybrid Demucs and 2.44 for the second ranking model submitted at the competition).

研究动机与目标

• 将频谱和波形表示结合用于源分离，以利用各自域的互补偏差。
• 在 Demucs 架构中扩展为两个并行分支：一个时域波形分支和一个频谱分支（基于 STFT）。
• 通过压缩残差分支、局部注意力和奇异值正则化来提升稳定性与性能。
• 在 MusDB HQ 和 MDX 数据集上进行评估，包括人类感知评估。

提出的方法

• 将 Demucs U-Net 扩展为两条并行分支：一个时域波形分支和一个频谱（基于 STFT）的分支。
• 用逐频率卷积处理频谱数据并逐步减少频率 bin 以与时域特征对齐。
• 在产生联合波形输出前，在共享编码器/解码器核心中合并时域和频谱表示。
• 引入压缩残余分支，使用扩张卷积、BiLSTM 和局部注意力来捕捉长程与局部上下文。
• 使用 LayerScale 与归一化策略来稳定训练；应用奇异值正则化以提升泛化。
• 在 MusDB HQ 和 MDX 数据集上训练并评估；与仅频谱和仅波形基线比较；包括人类 MOS 与溢出 (bleeding) 评估。

实验结果

研究问题

• RQ1 端到端混合波形-频谱模型能否超越领域特定模型在音乐源分离上的表现？
• RQ2 在混合 setting 中，哪些架构组件（压缩残差、局部注意力、BiLSTM）最能提升性能和稳定性？
• RQ3 Hybrid Demucs 在 MDX 和 MusDB HQ 上相对于最先进基线在各源（鼓、低音、其他、人声）上的表现如何？
• RQ4 与仅波形和仅频谱模型相比，混合模型的主观质量和污染特性为何？

主要发现

方法	全部	鼓组	低音	其他	人声
Hybrid Demucs	7.33	8.04	8.12	5.19	7.97

• Hybrid Demucs 在 MDX Track A（MusDB HQ 训练）获得 7.32 dB SDR，在 Track B 获得 8.11 dB，且在基线中排名靠前。
• 在 MDX Track A，Hybrid Demucs 显著提高 Other 与 Vocals 的 nSDR，相比一些基线，尽管未必在这些源上超过某些纯频谱模型的顶尖水平。
• 在 MusDB HQ，Hybrid Demucs 对 Drums 与 Bass 提供最佳 SDR，对 Other 与 Vocals 相较于仅波形 Demucs 有显著提升，尽管 KUIELAB-MDX-Net 对某些源仍具有竞争力或优越。
• 人类评估显示 Hybrid Demucs 在污染方面显著降低，而感知质量的提升在各源间不一致，Vocals 常由频谱基或其他专用模型处理得最好。
• 消融研究表明局部注意力和时域与混合模型的组合对性能提升至关重要，且通过 EMA 和 SVD 罚则提升稳定性。