[论文解读] Deep Transform: Cocktail Party Source Separation via Probabilistic Re-Synthesis

Andrew Simpson|arXiv (Cornell University)|Mar 20, 2015

Speech and Audio Processing参考文献 3被引用 3

一句话总结

本文提出了一种名为 Deep Transform 的新型语音分离方法，专为鸡尾酒会场景设计，采用两个独立训练的深度神经网络（DNN）分别处理单声道和双耳语音混合信号。该方法利用时域卷积深度变换（CDT）实现概率性重合成，以极简的网络结构实现高效的语音分离，并在真实世界语音分离任务中表现出色。

ABSTRACT

In cocktail party listening scenarios, the human brain is able to separate competing speech signals. However, the signal processing implemented by the brain to perform cocktail party listening is not well understood. Here, we trained two separate convolutive autoencoder deep neural networks (DNN) to separate monaural and binaural mixtures of two concurrent speech streams. We then used these DNNs as convolutive deep transform (CDT) devices to perform probabilistic re-synthesis. The CDTs operated directly in the time-domain. Our simulations demonstrate that very simple neural networks are capable of exploiting monaural and binaural information available in a cocktail party listening scenario.

研究动机与目标

• 通过计算方法模拟人类在鸡尾酒会场景下的听觉分离能力，实现对重叠语音流的有效分离。
• 解决利用深度学习从单声道和双耳音频混合信号中分离重叠语音的挑战。
• 开发一种基于时域的神经处理框架，同时利用频谱特征和双耳线索以提升语音分离性能。
• 证明简单的 DNN 能够有效利用单声道和双耳信息，实现鲁棒的语音分离。
• 提出一种基于学习到的深度变换的概率性重合成机制，以提升分离结果的保真度。

提出的方法

• 在两个语音流的单声道和双耳混合信号上分别训练两个独立的卷积自编码器深度神经网络（DNN）
• 将训练好的 DNN 作为卷积深度变换（CDT）装置，将混合信号映射到潜在表征空间
• 通过反演 CDT 实现概率性重合成，从潜在空间重建出各个独立的语音源
• 在整个过程中直接在时域进行，以保留时间结构并避免频域方法常见的频谱伪影
• 通过双耳 DNN 利用双耳线索（如双耳强度差、时间延迟）以提升分离精度
• 采用概率框架建模源信号重建过程中的不确定性，从而增强对噪声和重叠的鲁棒性

实验结果

研究问题

• RQ1 简单的深度神经网络是否能有效分离单声道和双耳条件下的重叠语音？
• RQ2 时域深度变换在多大程度上能利用单声道和双耳线索实现语音分离？
• RQ3 概率性重合成在多大程度上提升了分离语音源的质量和可懂度？
• RQ4 极简的 DNN 架构是否能在鸡尾酒会场景中达到与更复杂模型相当的性能？
• RQ5 双耳信息在利用深度学习提升分离性能方面起到何种作用？

主要发现

• 所提出的方法仅通过两个在单声道和双耳混合信号上训练的简单 DNN，即实现了对两个重叠语音流的有效分离。
• 时域处理保留了精细的时间结构，减少了频域方法常见的伪影。
• 双耳线索的整合显著提升了分离性能，优于仅使用单声道信息的模型。
• 概率性重合成通过建模重建过程中的不确定性，增强了鲁棒性与源信号质量。
• 该方法以极简的网络结构实现优异性能，表明其具备高效性与可扩展性。
• 结果表明，该端到端深度学习框架可在一定程度上模拟人类听觉系统在鸡尾酒会效应中的表现。