[论文解读] CatNet: music source separation system with mix-audio augmentation

Xuchen Song, Qiuqiang Kong+2 more|arXiv (Cornell University)|Feb 19, 2021

Speech and Audio Processing参考文献 25被引用 9

一句话总结

该论文提出 CatNet，一种端到端、完全可微分的音乐源分离系统，通过串联基于频谱图的 UNet 分支与时域 WavUNet 分支，利用互补的表征方式。该方法引入了一种新颖的混音数据增强技术，将同一音源的音频片段进行混合，从而在 MUSDB18 数据集上实现了 7.54 dB 的语音分离 SDR，达到当前最优性能，优于先前方法（如 MMDenseNet 的 6.57 dB）。

ABSTRACT

Music source separation (MSS) is the task of separating a music piece into individual sources, such as vocals and accompaniment. Recently, neural network based methods have been applied to address the MSS problem, and can be categorized into spectrogram and time-domain based methods. However, there is a lack of research of using complementary information of spectrogram and time-domain inputs for MSS. In this article, we propose a CatNet framework that concatenates a UNet separation branch using spectrogram as input and a WavUNet separation branch using time-domain waveform as input for MSS. We propose an end-to-end and fully differentiable system that incorporate spectrogram calculation into CatNet. In addition, we propose a novel mix-audio data augmentation method that randomly mix audio segments from the same source as augmented audio segments for training. Our proposed CatNet MSS system achieves a state-of-the-art vocals separation source distortion ratio (SDR) of 7.54 dB, outperforming MMDenseNet of 6.57 dB evaluated on the MUSDB18 dataset.

研究动机与目标

• 为解决现有音乐源分离（MSS）系统仅依赖频谱图或时域表征的局限性，通过结合两种模态来提升性能。
• 开发一种完全端到端、可微分的框架，将频谱图计算嵌入网络中以实现联合优化。
• 通过引入一种新颖的混音数据增强策略，提升模型在有限训练数据下的泛化能力与性能。
• 在 MUSDB18 基准数据集上实现语音源分离的最先进性能。

提出的方法

• CatNet 结合一个处理频谱图的 UNet 分支与一个处理原始波形的 WavUNet 分支，其输出在时域相加以生成分离后的音源。
• 频谱图计算（STFT 与 ISTFT）是可微分的，并作为可学习的矩阵乘法嵌入网络内部，支持端到端训练。
• 采用预测波形与目标波形之间的平均绝对误差（MAE）损失进行优化。
• 提出一种新颖的混音数据增强策略，随机混合来自同一音源的音频片段（如人声与人声），以生成增强的训练样本。
• 该方法在相同音源类别内随机混合片段，保留音源身份的同时提升数据多样性。
• 使用 Adam 优化器进行网络训练，批量大小为 12，基础学习率为 0.001。

实验结果

研究问题

• RQ1 与单独使用任一模态相比，结合基于频谱图和基于时域的神经网络是否能提升音乐源分离性能？
• RQ2 将可微分的 STFT/ISTFT 操作集成到端到端训练框架中，是否能提升分离质量？
• RQ3 一种新颖的混音数据增强策略（即混合同一音源的片段）是否能提升模型泛化能力与性能？
• RQ4 与最先进方法相比，所提出的 CatNet 系统在 MUSDB18 基准上采用混音增强后的性能提升如何？

主要发现

• CatNet 搭配混音数据增强在 MUSDB18 数据集上实现了 7.54 dB 的语音源分离 SDR，达到当前最优性能，优于 MMDenseNet（6.57 dB）。
• 仅使用基于频谱图的 UNet 分支可实现 7.04 dB 的语音 SDR，而仅使用时域 WavUNet 分支的 SDR 为 5.57 dB，表明在此设置下频谱图学习更具优势。
• 混音数据增强将 WavUNet 基线的语音 SDR 从 5.57 dB 提升至 6.08 dB，证明其在时域模型中同样有效。
• 当使用相同增强策略训练时，CatNet 系统在语音 SDR 上达到 7.17 dB，而完整 CatNet 集成后进一步提升至 7.54 dB，显示出协同增益效果。
• 系统在其他音源上也表现出色：鼓声为 5.85 dB，贝斯为 5.01 dB，其他乐器为 4.67 dB。
• 伴奏部分的 SDR 达到 15.18 dB，表明非人声成分的分离质量极高，这对音乐制作应用至关重要。