[论文解读] Investigating U-Nets with various Intermediate Blocks for Spectrogram-based Singing Voice Separation

Woosung Choi, Minseok Kim+3 more|arXiv (Cornell University)|Dec 2, 2019

Speech and Audio Processing参考文献 24被引用 25

一句话总结

本文研究了基于频谱图的歌唱语音分离任务中U-Net架构内的各类中间模块，提出了一种复数谱图估计框架（CaC），将实部和虚部视为独立通道。通过将全连接层集成到时频卷积块（TFC-TDF）中，该模型在MUSDB数据集上实现了最先进（SOTA）的SDR性能，相比先前的SOTA方法提升0.9 dB，且参数量更少，无需后处理。

ABSTRACT

Singing Voice Separation (SVS) tries to separate singing voice from a given mixed musical signal. Recently, many U-Net-based models have been proposed for the SVS task, but there were no existing works that evaluate and compare various types of intermediate blocks that can be used in the U-Net architecture. In this paper, we introduce a variety of intermediate spectrogram transformation blocks. We implement U-nets based on these blocks and train them on complex-valued spectrograms to consider both magnitude and phase. These networks are then compared on the SDR metric. When using a particular block composed of convolutional and fully-connected layers, it achieves state-of-the-art SDR on the MUSDB singing voice separation task by a large margin of 0.9 dB. Our code and models are available online.

研究动机与目标

• 系统评估并比较U-Net架构中不同中间模块设计在歌唱语音分离任务中的表现。
• 研究将时序分布全连接层集成到卷积模块中对分离性能的影响。
• 探讨使用复数谱图（实部与虚部分别作为独立通道）而非仅幅度表示的优势。
• 为构建高效的基于U-Net的音乐源分离模型提供实用设计指南。
• 在不依赖后处理或循环层的前提下，实现在MUSDB基准上的最先进性能。

提出的方法

• 复数作为通道（CaC）框架将复数谱图视为具有实部与虚部分量独立通道的实值张量，支持复数输出的端到端学习。
• 实现了一个U-Net架构，采用多种中间模块，包括标准2D-CNN、时序分布卷积（TDC）、频域分布卷积（TDF）以及集成全连接层的混合TFC-TDF模块。
• 通过监督学习最小化预测值与真实复数谱图之间的均方误差进行模型训练。
• 该框架直接估计复数谱图，保留了相位信息，而该信息在仅使用幅度的模型中通常被忽略。
• 消融实验对比了仅使用幅度输入与原始复数谱图输入的模型，以评估相位信息利用的优势。
• 最终模型采用具有瓶颈结构和全连接层的TFC-TDF模块，实现了高性能且参数量更少。

实验结果

研究问题

• RQ1 不同中间模块设计（如TDC、TDF、TFC-TDF）对基于U-Net的歌唱语音分离性能有何影响？
• RQ2 在中间模块中插入全连接层对SDR性能有何影响？
• RQ3 与仅使用幅度谱图相比，使用复数谱图能带来多大性能提升？
• RQ4 是否可以不使用循环层或后处理（如维纳滤波）而实现SOTA性能？
• RQ5 在比较不同模块类型时，哪些设计原则在参数效率与性能之间显现？

主要发现

• 结合时序分布与频域分布卷积并集成全连接层的TFC-TDF模块，在MUSDB测试集上实现了最高的SDR（7.98 dB）。
• 所提模型在SDR上比先前SOTA方法DGRU-DGConv高出0.9 dB，且参数量更少（2.24M vs. >1.9M），同时未使用循环层。
• 在n_fft = 4096时，使用复数谱图（CaC框架）相比仅使用幅度输入，SDR提升了0.74 dB，即使架构与参数完全相同。
• 将仅使用幅度的U-Net简单扩展为CaC U-Net，在相同模型配置下SDR提升了0.64 dB，证明了相位信息的价值。
• 采用瓶颈结构的TFC-TDF模块仅使用0.99M参数即实现了高性能，表明在不牺牲准确率的前提下可实现高参数效率。
• 采用CaC框架且无需后处理（如维纳滤波）的模型，性能优于使用后处理的幅度仅模型，表明端到端复数谱图学习的有效性。