[论文解读] spatial-dccrn: dccrn equipped with frame-level angle feature and hybrid filtering for multi-channel speech enhancement

Shubo Lv, Yihui Fu+5 more|arXiv (Cornell University)|Oct 17, 2022

Speech and Audio Processing被引用 9

一句话总结

该论文提出 Spatial-DCCRN，一种多通道语音增强模型，通过整合帧级波束成形角度特征与掩码-映射滤波（MMF）策略，提升空间信息利用效率并抑制残留噪声。通过将 S-DCCRN 架构扩展至多通道处理，引入角度特征提取（AFE）模块以显式建模空间信息，并以级联 MMF 代替传统滤波-求和操作，实现联合混响抑制与去噪。该模型在 L3DAS22 和 ConferencingSpeech2021 挑战赛中均取得最先进性能，优于 MIMO-Unet 和 EaBNet 等模型。

ABSTRACT

Recently, multi-channel speech enhancement has drawn much interest due to the use of spatial information to distinguish target speech from interfering signal. To make full use of spatial information and neural network based masking estimation, we propose a multi-channel denoising neural network -- Spatial DCCRN. Firstly, we extend S-DCCRN to multi-channel scenario, aiming at performing cascaded sub-channel and full-channel processing strategy, which can model different channels separately. Moreover, instead of only adopting multi-channel spectrum or concatenating first-channel's magnitude and IPD as the model's inputs, we apply an angle feature extraction module (AFE) to extract frame-level angle feature embeddings, which can help the model to apparently perceive spatial information. Finally, since the phenomenon of residual noise will be more serious when the noise and speech exist in the same time frequency (TF) bin, we particularly design a masking and mapping filtering method to substitute the traditional filter-and-sum operation, with the purpose of cascading coarsely denoising, dereverberation and residual noise suppression. The proposed model, Spatial-DCCRN, has surpassed EaBNet, FasNet as well as several competitive models on the L3DAS22 Challenge dataset. Not only the 3D scenario, Spatial-DCCRN outperforms state-of-the-art (SOTA) model MIMO-UNet by a large margin in multiple evaluation metrics on the multi-channel ConferencingSpeech2021 Challenge dataset. Ablation studies also demonstrate the effectiveness of different contributions.

研究动机与目标

• 解决现有多通道语音增强模型在隐式学习空间信息或依赖次优滤波-求和操作方面的局限性。
• 在语音与噪声共存于同一时频单元的复杂条件下，提升性能，特别是降低残留噪声。
• 通过从通道间相位差（IPD）中提取的帧级角度特征，显式建模空间信息。
• 提出一种新型滤波策略，以级联方式整合粗粒度去噪、混响抑制与残留噪声消除。
• 在 L3DAS22 与 ConferencingSpeech2021 等基准数据集上，相比最先进模型，展示出卓越性能。

提出的方法

• 将 S-DCCRN 中级联子通道与全通道处理策略扩展至多通道场景，实现对局部与全局通道信息的独立建模。
• 引入角度特征提取（AFE）模块，利用卷积层与密集块处理 cosIPD 特征，生成帧级空间嵌入表示。
• 以新型掩码与映射滤波（MMF）机制替代标准滤波-求和操作，其中掩码部分负责混响抑制与粗粒度去噪，映射部分用于消除残留噪声。
• 采用 3D 卷积块，从堆叠的含噪谱图与映射滤波器中估计掩码滤波器，实现频谱与相位分量的联合优化。
• 采用混合损失函数，结合 STOI、WER（通过 Wav2Vec2.0 计算）与 PHASEN 损失，提升主观质量与模型鲁棒性。
• 在基础模型中应用因果推理，并评估非因果变体以实现最优性能，通过消融实验验证各模块的贡献。

Fig. 1 : Network structure of the proposed Spatial-DCCRN. ”LSC” denotes learnable spectrum compression, ”AFE” denotes angle feature extraction, ”CFE” denotes complex feature encoder, ”CFD” denotes complex feature decoder, ”MMF” denotes masking and mapping filtering and ”CAT” denotes concatenate.

实验结果

研究问题

• RQ1 从通道间相位差中提取的显式帧级角度特征，能否提升多通道语音增强性能？
• RQ2 级联式掩码-映射滤波策略是否在降低残留噪声与提升混响抑制方面优于传统滤波-求和操作？
• RQ3 子通道与全通道处理的融合如何增强多通道深度神经网络中的空间与频谱建模能力？
• RQ4 角度特征与 MMF 模块在真实世界多通道语音增强基准上的性能增益中，分别起到多大程度的贡献？
• RQ5 结合显式空间特征学习与多阶段滤波的模型，能否在 L3DAS22 与 ConferencingSpeech2021 挑战赛中均实现最先进性能？

主要发现

• 在 L3DAS22 挑战赛数据集上，Spatial-DCCRN 达到 0.956 的指标得分，超越包括 MIMO-Unet 与 EaBNet 在内的最先进模型。
• 在 ConferencingSpeech2021 挑战赛开发集上，Spatial-DCCRN 在所有指标上均优于 MIMO-Unet，相较于基线模型提升 0.057 的综合得分，当同时使用 AFE 与 MMF 时，相较基础模型提升 0.016。
• AFE 模块对指标得分贡献 0.011，MMF 模块贡献 0.007，表明空间特征学习的影响强于滤波器设计。
• 非因果版本的 Spatial-DCCRN 取得最佳性能，证实非因果建模在此任务中的优势。
• 结合 PHASEN 与 SI-SNR 损失的训练策略优于单独使用任一损失，表明时频域联合优化可提升模型鲁棒性。
• 随着输入通道数从 4 增加至 8，性能显著提升，表明模型在多麦克风阵列设置下具备良好的可扩展性与鲁棒性。

Fig. 2 : Network structure of angle feature extraction and sub/full channel DCCRN. ‘GCC‘ denotes group complex convolution, ‘GCTC‘ denotes group complex transpose convolution and ‘CP‘ denotes convolution pathway – a convolution layer among the encoder and decoder [ 17 ] . ”AF” denotes angle feature