[论文解读] Distributed speech separation in spatially unconstrained microphone arrays

Nicolas Furnon, Romain Serizel+2 more|arXiv (Cornell University)|Nov 2, 2020

Speech and Audio Processing参考文献 26被引用 5

一句话总结

该论文提出了一种用于空间无约束麦克风阵列的分布式语音分离算法，采用卷积循环神经网络（CRNN）在各节点上估计时频掩码。通过先分别估计各个源信号，再在全网传播这些估计结果，该方法实现了接近最优（near-oracle）的性能，尤其在节点数与源数相等或超过源数时表现更优。

ABSTRACT

Speech separation with several speakers is a challenging task because of the non-stationarity of the speech and the strong signal similarity between interferent sources. Current state-of-the-art solutions can separate well the different sources using sophisticated deep neural networks which are very tedious to train. When several microphones are available, spatial information can be exploited to design much simpler algorithms to discriminate speakers. We propose a distributed algorithm that can process spatial information in a spatially unconstrained microphone array. The algorithm relies on a convolutional recurrent neural network that can exploit the signal diversity from the distributed nodes. In a typical case of a meeting room, this algorithm can capture an estimate of each source in a first step and propagate it over the microphone array in order to increase the separation performance in a second step. We show that this approach performs even better when the number of sources and nodes increases. We also study the influence of a mismatch in the number of sources between the training and testing conditions.

研究动机与目标

• 解决在混响、多说话人环境中使用空间分布麦克风阵列进行语音分离的挑战。
• 通过将处理任务分布到各节点而非集中处理，降低基于深度学习的分离方法的计算复杂度。
• 利用多个麦克风的空间多样性，在不依赖集中式处理的前提下提升分离性能。
• 研究在训练与测试阶段源数不匹配情况下的鲁棒性。
• 证明分布式源信号掩码估计相比单节点处理可显著提升分离性能。

提出的方法

• 采用两步式分布式处理框架：首先，每个节点使用本地数据上的CRNN分别估计不同说话人的信号。
• 第二步，各节点在网络中交换其估计的源信号，以获得声学场景的全局视图。
• 在节点间采用压缩信号交换以减少通信开销，同时保留空间信息。
• 利用时频掩码（如IRM、MWF等）引导CRNN估计源信号，并在各节点间迭代更新掩码。
• 在固定源数的混合信号上训练CRNN，随后评估其在源数不匹配场景下的泛化能力。
• 在第二步中，利用传播后的估计结果应用波束成形技术（如MVDR、MWF）以优化分离效果。

实验结果

研究问题

• RQ1 与单节点方法相比，空间无约束麦克风阵列的分布式处理是否能提升语音分离性能？
• RQ2 随着源数和节点数的增加，所提方法的性能如何变化？
• RQ3 在训练与测试阶段源数不匹配时，对算法鲁棒性有何影响？
• RQ4 在节点间传播源信号估计是否能超越本地估计，提升分离精度？
• RQ5 当节点数超过源数或少于源数时，该方法是否仍能保持高性能？

主要发现

• 多节点分布式CRNN方法在节点数与源数相等或超过源数时，显著优于单节点和传统波束成形方法。
• 当节点数从K=2增至K=3（两源场景）时，性能持续提升，表明在更复杂条件（更多源）下训练可增强泛化能力。
• 在过定情况（K > N）下，方法仍具鲁棒性，但当节点估计静默信号（如前方无说话人）时性能略有下降，原因在于对静默输入进行波束成形。
• 在欠定情况（K < N）下，多节点CRNN性能劣于单节点基线，原因在于训练与测试条件不匹配，表明需使用可变源数进行再训练。
• 在平衡场景（N=K）下，该方法实现了接近最优的性能，证明了分布式估计与空间信息共享的有效性。
• 过定情况下静默信号的问题表明，需引入动态检测机制以识别非活跃节点，防止波束成形输出性能下降。