[论文解读] End-to-end Networks for Supervised Single-channel Speech Separation

Shrikant Venkataramani, Paris Smaragdis|arXiv (Cornell University)|Oct 5, 2018

Speech and Audio Processing参考文献 24被引用 9

一句话总结

本文提出了一种端到端的深度学习架构，用于单通道语音分离，直接在原始波形上进行处理，取代传统的基于STFT的处理方式。通过引入可学习的掩码头以及结合SDR、STOI、SIR和SAR的复合损失函数，模型实现了更优的分离性能，主观测试表明，SDR-STOI与SIR-SAR组合在目标语音保留和干扰抑制方面取得了最佳的主观感知效果。

ABSTRACT

The performance of single channel source separation algorithms has improved greatly in recent times with the development and deployment of neural networks. However, many such networks continue to operate on the magnitude spectrogram of a mixture, and produce an estimate of source magnitude spectrograms, to perform source separation. In this paper, we interpret these steps as additional neural network layers and propose an end-to-end source separation network that allows us to estimate the separated speech waveform by operating directly on the raw waveform of the mixture. Furthermore, we also propose the use of masking based end-to-end separation networks that jointly optimize the mask and the latent representations of the mixture waveforms. These networks show a significant improvement in separation performance compared to existing architectures in our experiments. To train these end-to-end models, we investigate the use of composite cost functions that are derived from objective evaluation metrics as measured on waveforms. We present subjective listening test results that demonstrate the improvement attained by using masking based end-to-end networks and also reveal insights into the performance of these cost functions for end-to-end source separation.

研究动机与目标

• 开发端到端神经网络，绕过基于STFT的前端处理，直接在原始语音波形上进行单通道源分离。
• 通过联合优化掩码估计与混合波形的潜在表征，提升分离性能。
• 评估并优化基于感知相关指标（如SDR、STOI、SIR和SAR）的损失函数，用于端到端训练。
• 通过主观听音测试与客观评估，验证复合损失函数的有效性。

提出的方法

• 用可学习的卷积层与转置卷积层替代传统的STFT和逆STFT，实现对原始波形的端到端处理。
• 引入基于掩码的架构，在时域估计二值或软掩码，实现掩码与潜在表征的联合优化。
• 设计复合代价函数，结合SDR、STOI、SIR和SAR指标，并归一化至单位值以实现平衡优化。
• 使用反向传播训练网络，结合这些具有感知动机的损失函数，以提升波形重建质量。
• 通过Amazon Mechanical Turk平台在CAQE框架下开展主观听音测试，共180名参与者，用于评估不同代价函数下的主观质量。
• 使用客观指标（SDR、SIR、SAR、STOI）进行验证，并与主观平均意见得分进行相关性分析。

实验结果

研究问题

• RQ1 在单通道语音分离任务中，直接在原始波形上进行训练的端到端神经网络是否能优于基于STFT的架构？
• RQ2 与直接波形预测相比，联合优化掩码估计与潜在表征是否能提升分离性能？
• RQ3 在主观听音测试中，基于SDR、STOI、SIR、SAR的哪种复合损失函数能提供最佳的主观感知质量？
• RQ4 不同代价函数如何影响目标语音的保留、干扰抑制以及伪影的生成？

主要发现

• 基于掩码的端到端模型（Full-AET masking）在主观听音测试中获得了最高的平均意见得分，优于所有其他架构。
• 结合SDR与STOI的复合损失函数在保留目标语音和提升语音可懂度方面表现最佳。
• 仅最大化SDR的损失函数在所有测试模型与代价函数中产生的感知伪影最少。
• 将SIR与SAR结合作为损失函数，能最有效地抑制干扰源。
• 主观结果证实，最小化MSE损失并不能与提升语音可懂度或主观质量对齐，验证了基于指标的代价函数的必要性。
• 基于BSS-Eval与STOI指标的复合代价函数相比标准MSE训练方法，带来了显著的性能提升。