[论文解读] Dilated Convolution with Dilated GRU for Music Source Separation

Jen-Yu Liu, Yi‐Hsuan Yang|arXiv (Cornell University)|Jun 4, 2019

Speech and Audio Processing参考文献 24被引用 5

一句话总结

本文提出了一种新颖的深度学习架构——D2模块，结合空洞卷积与改进的空洞GRU，用于音乐音源分离。通过让循环单元借助k步感受野关注远距离时间上下文，该模型在分离人声与伴奏方面实现了最先进性能，SDR指标分别优于先前方法0.25 dB与0.57 dB。

ABSTRACT

Stacked dilated convolutions used in Wavenet have been shown effective for generating high-quality audios. By replacing pooling/striding with dilation in convolution layers, they can preserve high-resolution information and still reach distant locations. Producing high-resolution predictions is also crucial in music source separation, whose goal is to separate different sound sources while maintaining the quality of the separated sounds. Therefore, this paper investigates using stacked dilated convolutions as the backbone for music source separation. However, while stacked dilated convolutions can reach wider context than standard convolutions, their effective receptive fields are still fixed and may not be wide enough for complex music audio signals. To reach information at remote locations, we propose to combine dilated convolution with a modified version of gated recurrent units (GRU) called the `Dilated GRU' to form a block. A Dilated GRU unit receives information from k steps before instead of the previous step for a fixed k. This modification allows a GRU unit to reach a location with fewer recurrent steps and run faster because it can execute partially in parallel. We show that the proposed model with a stack of such blocks performs equally well or better than the state-of-the-art models for separating vocals and accompaniments.

研究动机与目标

• 为解决在长音乐音频信号中捕捉长程时间依赖关系以实现高分辨率音源分离的挑战。
• 改进标准循环网络逐步处理序列的方式，以提升速度与效率。
• 利用空洞卷积实现宽广的上下文感受野，同时集成改进的循环单元以进一步扩展有效感受野。
• 在人声与伴奏分离任务中实现最先进分离性能，并提升推理速度。

提出的方法

• 提出一种D2模块架构，结合空洞卷积与一种称为空洞GRU的改进门控循环单元。
• 空洞GRU接收来自k步前隐藏状态，而非仅前一时刻的输入，从而实现更快的、部分并行的计算。
• 通过堆叠多个D2模块构建深层网络，逐层优化时间维度上的源表示。
• 以幅度谱图作为输入，端到端预测特定源的谱图，同时从输入到最终输出引入跳跃连接。
• 采用类似残差连接的设计，将输入加到最终模块的输出上，以稳定特征语义。
• 使用基于信噪比（SDR）的损失函数进行端到端训练与评估。

实验结果

研究问题

• RQ1 将空洞卷积与改进的循环单元结合，是否能提升音乐音源分离中的长程建模能力？
• RQ2 与标准GRU相比，空洞GRU的k步循环机制如何影响推理速度与性能表现？
• RQ3 单个D2模块对最终分离质量的贡献如何？随着模块数量增加，性能如何演变？
• RQ4 该模型架构是否支持跨层对源表示进行渐进式优化？这种优化是否可在中间输出中观察到？

主要发现

• 当GRU空洞率=1时，模型在人声分离上达到6.74 dB SDR，伴奏分离上达到13.25 dB SDR，分别优于最先进模型0.25 dB与0.57 dB。
• 当GRU空洞率=2时，模型在人声与伴奏分离上均达到6.74 dB与13.25 dB SDR，性能与最佳结果持平，同时推理时间较空洞率=1减少20%。
• 推理时间从空洞率=1时的423±4.90 ms降至空洞率=4时的327±10.2 ms，表明空洞率增加可显著提升速度。
• 逐步增加D2模块可提升分离性能：人声SDR从无模块时的0.82 dB提升至全部模块时的6.74 dB，表明性能实现渐进式优化。
• 波形可视化显示，随着模块数量增加，人声及其他源的激活增强，而“其他”源的活动减少，表明存在动态信息路由机制。
• 模型在不同模块数量下表现稳健，3个与4个模块的性能几乎完全一致，表明在3个模块时已达到最优容量。