[论文解读] End-to-End Speech Separation with Unfolded Iterative Phase Reconstruction

Zhong-Qiu Wang, Jonathan Le Roux+2 more|arXiv (Cornell University)|Apr 26, 2018

Speech and Audio Processing参考文献 31被引用 31

一句话总结

该论文提出了一种端到端语音分离模型，将展开的迭代相位重建过程整合进深度神经网络，通过多次MISI算法迭代训练时频掩码网络，以提升相位一致性。通过使用新型激活函数，使掩码值可超出[0,1]范围，该模型在WSJ0-2mix数据集上实现了12.6 dB的新SOTA（最先进）尺度不变SDR，显著优于以往忽略相位重建误差的方法。

ABSTRACT

This paper proposes an end-to-end approach for single-channel speaker-independent multi-speaker speech separation, where time-frequency (T-F) masking, the short-time Fourier transform (STFT), and its inverse are represented as layers within a deep network. Previous approaches, rather than computing a loss on the reconstructed signal, used a surrogate loss based on the target STFT magnitudes. This ignores reconstruction error introduced by phase inconsistency. In our approach, the loss function is directly defined on the reconstructed signals, which are optimized for best separation. In addition, we train through unfolded iterations of a phase reconstruction algorithm, represented as a series of STFT and inverse STFT layers. While mask values are typically limited to lie between zero and one for approaches using the mixture phase for reconstruction, this limitation is less relevant if the estimated magnitudes are to be used together with phase reconstruction. We thus propose several novel activation functions for the output layer of the T-F masking, to allow mask values beyond one. On the publicly-available wsj0-2mix dataset, our approach achieves state-of-the-art 12.6 dB scale-invariant signal-to-distortion ratio (SI-SDR) and 13.1 dB SDR, revealing new possibilities for deep learning based phase reconstruction and representing a fundamental progress towards solving the notoriously-hard cocktail party problem.

研究动机与目标

• 为解决单通道多说话人语音分离中的相位不一致问题，此前方法使用混合信号相位进行重建，且忽略重建误差。
• 通过直接在重建的时域信号上优化损失函数，而非使用幅度谱图上的代理损失，以提升信号重建质量。
• 通过类似MISI的迭代相位重建算法训练时频掩码网络，实现基于深度学习的相位重建，确保与重建过程的兼容性。
• 探索用于掩码层的新型激活函数，允许其输出值超出[0,1]范围，从而增强网络生成一致STFT表示的能力。
• 证明端到端训练结合迭代相位重建可显著提升语音分离性能，接近理想性能水平。

提出的方法

• 该模型将短时傅里叶变换（STFT）和逆STFT（iSTFT）作为可微分层嵌入深度网络中，实现对完整信号重建流程的端到端优化。
• 采用一种新型损失函数 $\mathcal{L}_{\text{WA-MISI-K}}$，通过K次MISI（多输入谱图反演）算法迭代训练网络，展开迭代相位重建过程。
• 时频掩码网络采用一类新型激活函数——具体为凸型软最大函数及其他非饱和函数——允许掩码值大于1，从而提升与迭代相位恢复的兼容性。
• 网络采用课程学习策略进行训练：先使用 $\mathcal{L}_{\text{WA}}$，随后逐步引入 $\mathcal{L}_{\text{WA-MISI-1}}$ 至 $\mathcal{L}_{\text{WA-MISI-5}}$，其中K=5时性能趋于饱和。
• 模型采用Chimera++架构，结合深度聚类与掩码推理，使用双向LSTM进行上下文建模，并对嵌入向量进行单位长度归一化。
• 在推理阶段，模型使用估计的幅度谱和混合信号相位，对MISI执行5次迭代，最终输出为重建的时域信号。

实验结果

研究问题

• RQ1 通过迭代相位重建进行端到端训练，能否显著改善语音分离性能，从而减少相位不一致？
• RQ2 允许时频掩码值超出[0,1]范围，是否能提升与MISI等迭代相位重建算法的兼容性？
• RQ3 通过MISI多次迭代训练，与在推理阶段后处理使用MISI或仅使用混合信号相位相比，性能如何？
• RQ4 能否有效将可微分的、展开的MISI过程集成到深度学习框架中，实现幅度与相位的联合优化？
• RQ5 与基于幅度谱图的代理损失相比，使用波形级损失进行端到端优化，在多大程度上能超越现有方法？

主要发现

• 所提方法在WSJ0-2mix数据集上实现了12.6 dB的尺度不变SDR（SI-SDR），创下新SOTA，较此前最佳结果提升1.4 dB。
• 采用凸型软最大激活函数并经过5次MISI迭代训练的模型（WA-MISI-5）实现了12.6 dB的SI-SDR和13.1 dB的SDR，分别优于先前SOTA的Chimera++网络1.4 dB。
• 使用 $\mathcal{L}_{\text{WA-MISI-5}}$ 训练的模型在测试时若应用MISI，性能显著提升：SI-SDR从无MISI时的12.2 dB提升至5次MISI迭代时的12.6 dB。
• 仅使用 $\mathcal{L}_{\text{WA}}$ 训练（训练中未引入MISI）的模型无法从额外的MISI后处理中获益，表明网络在训练过程中已适应混合信号相位。
• 非饱和、无界掩码激活函数（如凸型软最大函数）对性能至关重要，因其使网络能够生成与一致STFT重建兼容的幅度谱。
• 实验结果接近理想比率掩码（IRM）性能（12.7 dB SI-SDR），表明基于深度学习的相位重建可显著缩小与理想性能的差距。