[论文解读] Investigating Deep Neural Transformations for Spectrogram-based Musical Source Separation

Woosung Choi, Minseok Kim+3 more|arXiv (Cornell University)|Dec 2, 2019

Speech and Audio Processing参考文献 10被引用 5

一句话总结

本文研究了基于谱图的音乐源分离中深层神经变换方法，对原始复数STFT特征上的时不变、时频和混合架构进行了评估。在MUSDB基准上实现了最先进性能，相比先前方法SDR提升1.0 dB。

ABSTRACT

Musical Source Separation (MSS) is a signal processing task that tries to separate the mixed musical signal into each acoustic sound source, such as singing voice or drums. Recently many machine learning-based methods have been proposed for the MSS task, but there were no existing works that evaluate and directly compare various types of networks. In this paper, we aim to design a variety of neural transformation methods, including time-invariant methods, time-frequency methods, and mixtures of two different transformations. Our experiments provide abundant material for future works by comparing several transformation methods. We train our models on raw complex-valued STFT outputs and achieve state-of-the-art SDR performance on the MUSDB singing voice separation task by a large margin of 1.0 dB.

研究动机与目标

• 系统评估并比较各种神经变换架构在基于谱图的音乐源分离中的表现。
• 解决音乐源分离背景下深度学习架构之间缺乏直接比较的问题。
• 探索时不变、时频和混合变换方法以提升分离性能。
• 直接在原始复数短时傅里叶变换（STFT）输出上训练模型，以保留相位和频谱信息。
• 通过广泛的实验对比，为未来研究建立全面的基准。

提出的方法

• 作者设计并训练在混合音频信号原始复数STFT表示上操作的深度神经网络。
• 评估三种主要变换类型：时不变网络、时频混合网络以及不同变换类型的混合。
• 采用监督学习设置，以真实源分离谱图为监督目标，端到端训练模型。
• 架构包含在时间与频率维度上操作的可学习变换，以建模复杂的频谱模式。
• 训练目标优化信号失真比（SDR），以提升源分离质量。
• 通过在整个网络中使用复数张量，避免仅使用幅度表示，从而保留相位信息。

实验结果

研究问题

• RQ1 在基于谱图的音乐源分离中，时不变、时频和混合神经变换方法的性能如何比较？
• RQ2 使用原始复数STFT输入与仅使用幅度或实数表示相比，对分离质量有何影响？
• RQ3 不同变换类型的混合是否能带来优于单一架构的性能提升？
• RQ4 这些架构在MUSDB基准上相较于现有最先进方法的性能提升程度如何？
• RQ5 通过不同变换组件的消融实验，可对模型泛化能力和鲁棒性得出哪些见解？

主要发现

• 所提方法在MUSDB人声分离基准上实现了最先进信号失真比（SDR）性能。
• 相比先前最先进方法，SDR提升1.0 dB，展现出显著的性能增益。
• 使用原始复数STFT输入相比仅使用幅度或实数表示，能获得更好的分离质量。
• 结合时不变与时频变换的混合架构优于单一类型架构。
• 消融实验证实，通过复数处理保留相位信息对实现最佳性能至关重要。
• 全面的实验对比为基于谱图的源分离未来研究提供了宝贵的基准。