[论文解读] Deep Transform: Cocktail Party Source Separation via Complex Convolution in a Deep Neural Network

Andrew Simpson|arXiv (Cornell University)|Apr 12, 2015

Speech and Audio Processing参考文献 9被引用 4

一句话总结

该论文提出了一种深度神经网络框架——Deep Transform，通过在复数卷积架构中使用圆形统计方法对复杂谱图进行建模，实现鸡尾酒会效应下的语音源分离。通过联合估计幅度和相位分量（采用概率相位建模），该方法实现了与基于二值掩码的方法相当的分离性能，证明了复数值深度学习在语音分离中的可行性。

ABSTRACT

Convolutional deep neural networks (DNN) are state of the art in many engineering problems but have not yet addressed the issue of how to deal with complex spectrograms. Here, we use circular statistics to provide a convenient probabilistic estimate of spectrogram phase in a complex convolutional DNN. In a typical cocktail party source separation scenario, we trained a convolutional DNN to re-synthesize the complex spectrograms of two source speech signals given a complex spectrogram of the monaural mixture - a discriminative deep transform (DT). We then used this complex convolutional DT to obtain probabilistic estimates of the magnitude and phase components of the source spectrograms. Our separation results are on a par with equivalent binary-mask based non-complex separation approaches.

研究动机与目标

• 解决当前深度神经网络方法在语音分离中未能妥善处理复数谱图的问题。
• 开发一种判别性深度变换模型，从单声道混合信号中重建各个语音源的复数谱图。
• 利用圆形统计方法对谱图相位进行概率建模，以提升分离精度。
• 实现与最先进基于二值掩码的分离技术相当的性能。
• 证明复数卷积在深度神经网络中用于声源分离的有效性。

提出的方法

• 该方法采用复数卷积神经网络（CNN），直接处理复数值谱图，保留相位信息。
• 使用圆形统计方法将谱图的相位分量建模为冯·米塞斯分布，实现概率相位估计。
• 网络被训练为从单一单声道混合信号的谱图中重建两个语音源的复数谱图。
• 模型输出每个源的幅度和相位的概率估计，支持一致的信号重合成。
• 采用判别性训练目标，最小化复数域中的重建误差，同时优化谱图的幅度和相位。
• 最终通过估计的复数谱图的逆傅里叶变换实现分离。

实验结果

研究问题

• RQ1 深度神经网络能否有效建模复数谱图以实现语音源分离？
• RQ2 通过圆形统计进行的概率相位估计在多大程度上提升了分离性能？
• RQ3 复数卷积网络在语音源分离任务中是否优于或至少匹配仅基于幅度的方法？
• RQ4 在复数域中联合估计幅度和相位是否能获得与基于二值掩码的方法相当的结果？
• RQ5 在鸡尾酒会场景下，复数谱图重建的端到端学习是否可行且有效？

主要发现

• 所提出的 Deep Transform 实现了与基于二值掩码的非复数方法相当的分离性能，验证了其有效性。
• 通过圆形统计的概率相位建模在深度网络中实现了准确且一致的相位估计。
• 复数卷积架构成功学习到从单声道混合信号中重建源信号的幅度和相位。
• 该方法表明，深度神经网络可在复数域中有效训练，而无需依赖仅幅度的表示。
• 结果表明，在复数谱图域中联合估计幅度和相位可实现高质量的源信号分离。
• 该方法在典型鸡尾酒会场景下（两个重叠语音源）表现出良好的鲁棒性。