[论文解读] Multi-Resolution Fully Convolutional Neural Networks for Monaural Audio Source Separation

Emad M. Grais, Hagen Wierstorf+2 more|arXiv (Cornell University)|Oct 28, 2017

Speech and Audio Processing参考文献 24被引用 4

一句话总结

本文提出多分辨率全卷积神经网络（MR-FCNN）用于单声道音频源分离，其中每一层使用多种不同尺寸的滤波器组，以提取全局和局部时频特征。MR-FCNN 在 SDR 和 SAR 上均优于标准 DNN 和单分辨率 FCNN，所有模型比较的 p 值均小于 0.0025，表现出统计显著性提升。

ABSTRACT

In deep neural networks with convolutional layers, each layer typically has fixed-size/single-resolution receptive field (RF). Convolutional layers with a large RF capture global information from the input features, while layers with small RF size capture local details with high resolution from the input features. In this work, we introduce novel deep multi-resolution fully convolutional neural networks (MR-FCNN), where each layer has different RF sizes to extract multi-resolution features that capture the global and local details information from its input features. The proposed MR-FCNN is applied to separate a target audio source from a mixture of many audio sources. Experimental results show that using MR-FCNN improves the performance compared to feedforward deep neural networks (DNNs) and single resolution deep fully convolutional neural networks (FCNNs) on the audio source separation problem.

研究动机与目标

• 解决从包含多个重叠源的单声道混合信号中分离目标音频源的挑战。
• 通过多分辨率感受野捕捉全局上下文和局部细节，改进音频源分离中的特征提取。
• 开发一种新型深度学习架构，在每一层应用多分辨率卷积滤波器，实现对多样化谱时模式的联合学习。
• 证明多分辨率特征学习相比单分辨率或全连接网络能显著提升分离性能。

提出的方法

• MR-FCNN 使用全卷积层，其中每一层并行应用多组不同感受野尺寸（例如 3×3、7×9、13×21）的滤波器。
• 每组滤波器生成不同分辨率的特征图，使网络能够同时捕捉精细的局部细节和更广泛的谱时结构。
• 网络架构采用编码器-解码器结构，激活函数为 ReLU，解码器使用转置卷积，且滤波器尺寸和通道数设计对称。
• 模型通过 Adam 优化器进行端到端训练，使用混合信号和目标音频信号的幅度谱图作为输入，并采用早停法和学习率衰减策略。
• MR-FCNN 的参数量（558,181）与 FCNN（445,173）和 DNN（4,206,600）保持可比，以确保公平的性能比较。
• 输入和输出均为二维幅度谱图，网络通过多分辨率特征学习实现从混合信号中重建目标源。

实验结果

研究问题

• RQ1 与单分辨率或全连接网络相比，每一层使用多分辨率卷积滤波器是否能提升音频源分离性能？
• RQ2 通过多种滤波器尺寸联合提取全局和局部特征，是否能改善单声道混合信号中目标源的分离效果？
• RQ3 在具有挑战性的音频分离任务中，MR-FCNN 的 SDR、SIR 和 SAR 指标与 DNN 和单分辨率 FCNN 相比如何？
• RQ4 MR-FCNN 的性能提升在多个评估指标上是否具有统计显著性？

主要发现

• MR-FCNN 在 SDR（p = 2×10⁻⁷）和 SAR（p = 9×10⁻⁷）上显著优于 DNN，效应量较大。
• MR-FCNN 在 SDR（p = 0.0025）和 SAR（p = 3×10⁻⁵）上也显著优于单分辨率 FCNN，具有统计显著性。
• 在 Bonferroni 校正后，三类模型（DNN、FCNN、MR-FCNN）之间的所有性能差异在 p < 0.05 水平上均具有统计显著性。
• 输入混合信号的 SDR 和 SIR 值较低，表明该分离任务极具挑战性，凸显了先进特征学习的重要性。
• MR-FCNN 的 SDR 和 SAR 均高于 DNN 和 FCNN，表明其对目标源的重建更优，且干扰更少。
• 该模型的架构通过在每一层使用不同尺寸的滤波器（例如 13×21、7×9、3×3），实现了全层有效的多分辨率特征提取。