[论文解读] Multi-Channel Target Speaker Extraction with Refinement: The WavLab Submission to the Second Clarity Enhancement Challenge

Samuele Cornell, Zhong-Qiu Wang+4 more|arXiv (Cornell University)|Feb 15, 2023

Speech and Audio Processing被引用 5

一句话总结

本文提出 iNeuBe-X，一种针对噪声混响环境中助听器应用的新型多通道目标说话人提取系统，通过引入因果、说话人条件化的 MISO-TF-GridNet 与听者听力图感知的微调步骤，对 iNeuBe 框架进行扩展。该方法在 CEC2 开发集上实现了 0.942 的 HASPI 得分，展示了在严格 5 ms 延迟约束下的最先进性能。

ABSTRACT

This paper describes our submission to the Second Clarity Enhancement Challenge (CEC2), which consists of target speech enhancement for hearing-aid (HA) devices in noisy-reverberant environments with multiple interferers such as music and competing speakers. Our approach builds upon the powerful iterative neural/beamforming enhancement (iNeuBe) framework introduced in our recent work, and this paper extends it for target speaker extraction. We therefore name the proposed approach as iNeuBe-X, where the X stands for extraction. To address the challenges encountered in the CEC2 setting, we introduce four major novelties: (1) we extend the state-of-the-art TF-GridNet model, originally designed for monaural speaker separation, for multi-channel, causal speech enhancement, and large improvements are observed by replacing the TCNDenseNet used in iNeuBe with this new architecture; (2) we leverage a recent dual window size approach with future-frame prediction to ensure that iNueBe-X satisfies the 5 ms constraint on algorithmic latency required by CEC2; (3) we introduce a novel speaker-conditioning branch for TF-GridNet to achieve target speaker extraction; (4) we propose a fine-tuning step, where we compute an additional loss with respect to the target speaker signal compensated with the listener audiogram. Without using external data, on the official development set our best model reaches a hearing-aid speech perception index (HASPI) score of 0.942 and a scale-invariant signal-to-distortion ratio improvement (SI-SDRi) of 18.8 dB. These results are promising given the fact that the CEC2 data is extremely challenging (e.g., on the development set the mixture SI-SDR is -12.3 dB). A demo of our submitted system is available at WAVLab CEC2 demo.

研究动机与目标

• 解决助听器应用中典型的多源、噪声混响环境中目标说话人提取的挑战。
• 开发一种低延迟（≤5 ms）系统，适用于实时助听器部署。
• 通过在模型训练中引入听者特定的听力图，提升听觉障碍者的语音可懂度。
• 扩展 iNeuBe 框架，支持通过说话人条件化深度学习实现说话人提取。
• 在不使用外部数据的前提下，于 CEC2 挑战中实现高性能，聚焦于鲁棒性与实时可行性。

提出的方法

• 提出 iNeuBe-X，一种基于两阶段 DNN 的系统，通过说话人注册嵌入条件化实现目标说话人提取。
• 通过在非因果 TF-GridNet 中引入因果自注意力、单向 LSTM 和层归一化，实现因果、帧在线的 MISO-TF-GridNet。
• 在 DNN 阶段之间集成因果多通道维纳滤波器（MCWF），以保持低算法延迟。
• 通过 FiLM 模块将说话人嵌入条件化于 MISO-TF-GridNet，以实现目标说话人特定的增强。
• 采用两阶段训练策略：首先使用说话人嵌入训练 DNN 1，然后通过多分辨率 STFT 幅度损失微调 DNN 2。
• 引入听者适应性微调步骤，结合 NAL-R 拟合与动态范围压缩，以提升 HASPI。

实验结果

研究问题

• RQ1 因果、低延迟的多通道语音增强系统是否能在复杂噪声环境中实现高质量的目标说话人提取？
• RQ2 通过嵌入实现的说话人条件化学习，在多说话人、混响环境中如何提升目标语音提取性能？
• RQ3 在训练中引入听者特定听力图在多大程度上能提升感知语音质量（以 HASPI 衡量）？
• RQ4 迭代波束成形与后滤波的结合是否能超越单阶段增强的性能？
• RQ5 非因果最先进分离模型（TF-GridNet）能否被有效适配为实时因果多通道处理？

主要发现

• 所提出的 iNeuBe-X 系统在 CEC2 开发集上实现了 0.942 的 HASPI 得分，显著优于挑战基线（0.245）与理想混合信号（0.998）。
• 通过引入听者听力图感知的微调，系统将 SI-SDRi 从 18.082 dB 提升至 19.082 dB，证明了个性化补偿的有效性。
• 采用因果 MISO-TF-GridNet 配合单向 LSTM 与掩码自注意力机制，实现了仅 4 ms 算法延迟的帧在线处理。
• 系统满足 5 ms 延迟约束，经公开延迟验证代码确认，适用于实时助听器部署。
• 通过 NAL-R 拟合进行微调使 HASPI 提升 0.015，表明听者特定适应显著提升了感知质量。
• 在 DNN 2 与 NAL-R 微调后，系统达到 STOI 0.947 与 PESQ 2.269，表明语音质量与可懂度均较高。