[论文解读] A Unified Framework for Speech Separation

Fahimeh Bahmaninezhad, Shixiong Zhang+4 more|arXiv (Cornell University)|Dec 17, 2019

Speech and Audio Processing参考文献 42被引用 4

一句话总结

本文提出了一种统一的深度学习框架用于语音分离，该框架在单一架构内整合了基于频谱图和基于波形的方法，仅通过编码/解码的核函数不同而有所区别。该框架支持单通道和多通道设置的端到端训练，在性能、稳定性、内存效率和延迟控制方面表现优异，尤其在单通道和多通道设置下的基于频谱图的分离任务中表现突出。

ABSTRACT

Speech separation refers to extracting each individual speech source in a given mixed signal. Recent advancements in speech separation and ongoing research in this area, have made these approaches as promising techniques for pre-processing of naturalistic audio streams. After incorporating deep learning techniques into speech separation, performance on these systems is improving faster. The initial solutions introduced for deep learning based speech separation analyzed the speech signals into time-frequency domain with STFT; and then encoded mixed signals were fed into a deep neural network based separator. Most recently, new methods are introduced to separate waveform of the mixed signal directly without analyzing them using STFT. Here, we introduce a unified framework to include both spectrogram and waveform separations into a single structure, while being only different in the kernel function used to encode and decode the data; where, both can achieve competitive performance. This new framework provides flexibility; in addition, depending on the characteristics of the data, or limitations of the memory and latency can set the hyper-parameters to flow in a pipeline of the framework which fits the task properly. We extend single-channel speech separation into multi-channel framework with end-to-end training of the network while optimizing the speech separation criterion (i.e., Si-SNR) directly. We emphasize on how tied kernel functions for calculating spatial features, encoder, and decoder in multi-channel framework can be effective. We simulate spatialized reverberate data for both WSJ0 and LibriSpeech corpora here, and while these two sets of data are different in the matter of size and duration, the effect of capturing shorter and longer dependencies of previous/+future samples are studied in detail. We report SDR, Si-SNR and PESQ to evaluate the performance of developed solutions.

研究动机与目标

• 开发一种统一的深度学习框架，将基于频谱图和基于波形的语音分离方法整合到单一架构中。
• 在优化 Si-SNR 的前提下，实现单通道和多通道语音分离的端到端训练。
• 研究多通道设置中空间特征和共享核函数对分离性能的影响。
• 评估该框架在多种数据集（包括模拟混响的 WSJ0-2mix 和 LibriSpeech-2mix）上的鲁棒性和稳定性。
• 比较基于频谱图和基于波形的语音分离流程在性能、内存效率和延迟权衡方面的差异。

提出的方法

• 该框架采用共享的编码器-解码器结构，通过不同的核函数处理频谱图或原始波形输入。
• 在多通道设置中，采用共享核函数进行空间特征提取，以提升泛化能力和参数效率。
• 端到端训练采用信噪比不变（Si-SNR）作为优化准则。
• 模型在模拟空间化、混响语音数据上进行训练，涵盖 WSJ0-2mix 和 LibriSpeech-2mix 语料库。
• 通过可配置的感受野和核大小控制延迟，实现在最小性能损失下实现低延迟推理。
• 即使在训练期间不更新相位信息的基于频谱图的流程中，混合信号的相位信息在重建阶段仍得以保留。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能有效在单一架构下结合基于频谱图和基于波形的语音分离方法？
• RQ2 与单通道设置相比，结合空间特征学习的多通道语音分离在性能和鲁棒性方面表现如何？
• RQ3 基于频谱图和基于波形的分离在内存效率、延迟和性能之间的权衡如何？
• RQ4 不同的网络结构和超参数如何影响分离模型的稳定性和泛化能力？
• RQ5 在多通道语音分离中，使用共享核函数进行空间特征提取是否能提升性能？

主要发现

• 即使在训练期间未更新相位信息，基于频谱图的分离在单通道和多通道设置中均优于基于波形的分离。
• 所提出的多通道框架在所有评估指标（包括 SDR、Si-SNR 和 PESQ）上均持续优于单通道基线模型。
• 基于频谱图的模型在不同网络架构和超参数设置下表现出更强的稳定性，优于基于波形的模型。
• 统一框架在使用大 STFT 窗口（如 L=512）时，实现了具有竞争力的性能并显著降低了内存占用。
• PESQ 评分与 SDR 和 Si-SNR 趋势一致，证实了所有评估流程在感知质量上的提升。
• 通过可配置的核函数和感受野设置，该框架实现了低延迟推理，且性能损失可忽略不计。