[论文解读] Spatial and spectral deep attention fusion for multi-channel speech separation using deep embedding features

Cunhang Fan, Bin Liu+3 more|arXiv (Cornell University)|Feb 5, 2020

Speech and Audio Processing参考文献 19被引用 8

一句话总结

该论文提出了一种用于多通道语音分离的时空深度注意力融合方法，利用多通道深度聚类（MDC）提取的深度嵌入特征，并将无监督K-means聚类替换为有监督的uPIT网络以学习软掩码。通过注意力机制动态融合频谱与空间特征，并直接在真实分离源上进行训练，该方法在SDR、PESQ和STOI指标上相较于MDC分别提升了16.0%、26.1%和4.4%，甚至超越了理想二值掩码（IBM）的性能。

ABSTRACT

Multi-channel deep clustering (MDC) has acquired a good performance for speech separation. However, MDC only applies the spatial features as the additional information. So it is difficult to learn mutual relationship between spatial and spectral features. Besides, the training objective of MDC is defined at embedding vectors, rather than real separated sources, which may damage the separation performance. In this work, we propose a deep attention fusion method to dynamically control the weights of the spectral and spatial features and combine them deeply. In addition, to solve the training objective problem of MDC, the real separated sources are used as the training objectives. Specifically, we apply the deep clustering network to extract deep embedding features. Instead of using the unsupervised K-means clustering to estimate binary masks, another supervised network is utilized to learn soft masks from these deep embedding features. Our experiments are conducted on a spatialized reverberant version of WSJ0-2mix dataset. Experimental results show that the proposed method outperforms MDC baseline and even better than the oracle ideal binary mask (IBM).

研究动机与目标

• 通过引入深度注意力融合机制，解决MDC在未学习频谱与空间特征之间相互关系方面的局限性。
• 通过使用真实分离源作为训练目标，克服MDC训练目标函数（基于嵌入向量而非真实源）的问题。
• 通过结合深度聚类嵌入与有监督掩码学习，提升在混响、多说话人环境下的语音分离性能。
• 通过判别性微调与联合训练，增强在不同说话人性别组合下的鲁棒性。
• 证明端到端训练使用真实源目标可获得优于传统MDC与理想基线的主观与客观语音质量。

提出的方法

• 使用多通道深度聚类（MDC）从多麦克风语音混合信号中提取深度嵌入特征，相位差（IPDs）作为空间特征。
• 应用可学习的注意力模块，动态计算频谱与空间特征的注意力权重，实现在每个时频点的自适应融合。
• 将无监督K-means聚类替换为有监督的语音级排列不变训练（uPIT）网络，从嵌入特征中预测软掩码。
• 采用联合目标函数进行模型训练，结合分离语音的重建损失与判别性学习，以最大化源间分离度。
• 在训练过程中使用理想振幅掩码（IAM）与理想相位敏感掩码（IPSM）作为监督信号，引导网络向最优分离方向学习。
• 通过引入正则化参数α = 0.1的判别性学习进行微调，以增强不同说话人间嵌入的分离能力。

实验结果

研究问题

• RQ1 深度注意力融合机制能否有效学习多通道语音分离中频谱与空间特征之间的动态交互？
• RQ2 将无监督K-means聚类替换为有监督uPIT网络进行掩码估计，是否能相比MDC提升分离性能？
• RQ3 直接在真实分离源上进行训练，是否能获得优于仅基于嵌入层目标函数训练的结果？
• RQ4 所提方法是否能在SDR、PESQ与STOI指标上超越理想二值掩码（IBM）的性能？
• RQ5 在混响环境中，该方法对不同说话人性别组合的鲁棒性如何？

主要发现

• 所提方法在MDC基线上实现了16.0%的信噪比（SDR）相对提升，显著增强了语音质量。
• 在语音质量主观评价（PESQ）上实现了26.1%的相对提升，表明分离语音的可懂性与自然度更优。
• 在短时客观可懂度（STOI）上实现了4.4%的相对提升，证实了更好的语音传输质量与清晰度。
• 基于IPSM的所提方法优于理想二值掩码（IBM），表明模型泛化能力优于MDC基线的理论上限。
• 频谱图可视化结果表明，该方法能有效保留共振峰与谐波成分，同时抑制干扰，尤其在残余噪声明显的区域表现更优。
• 该方法在所有性别组合下均保持一致的性能，展现出在多样化说话人配置下的鲁棒性与泛化能力。