[论文解读] Glance and Gaze: A Collaborative Learning Framework for Single-channel Speech Enhancement

Andong Li, Chengshi Zheng+2 more|arXiv (Cornell University)|Jun 22, 2021

Speech and Audio Processing参考文献 45被引用 14

一句话总结

本文提出 GaGNet，一种用于单通道语音增强的协同学习框架，该框架在复数域中联合优化幅度和相位分量。通过结合用于粗略幅度估计的凝视路径（glance path）与用于精细频谱细节修复的凝视路径（gaze path），模型通过堆叠的凝视-凝视模块迭代优化语音谱，实现在 WSJ0-SI84 和 DNS-Challenge 数据集上的最先进性能，具有优异的主观质量与较低的计算成本。

ABSTRACT

The capability of the human to pay attention to both coarse and fine-grained regions has been applied to computer vision tasks. Motivated by that, we propose a collaborative learning framework in the complex domain for monaural noise suppression. The proposed system consists of two principal modules, namely spectral feature extraction module (FEM) and stacked glance-gaze modules (GGMs). In FEM, the UNet-block is introduced after each convolution layer, enabling the feature recalibration from multiple scales. In each GGM, we decompose the multi-target optimization in the complex spectrum into two sub-tasks. Specifically, the glance path aims to suppress the noise in the magnitude domain to obtain a coarse estimation, and meanwhile, the gaze path attempts to compensate for the lost spectral detail in the complex domain. The two paths work collaboratively and facilitate spectral estimation from complementary perspectives. Besides, by repeatedly unfolding the GGMs, the intermediate result can be iteratively refined across stages and lead to the ultimate estimation of the spectrum. The experiments are conducted on the WSJ0-SI84, DNS-Challenge dataset, and Voicebank+Demand dataset. Results show that the proposed approach achieves state-of-the-art performance over previous advanced systems on the WSJ0-SI84 and DNS-Challenge dataset, and meanwhile, competitive performance is achieved on the Voicebank+Demand corpus.

研究动机与目标

• 为解决在信噪比（SNR）较低的噪声环境中，单耳语音增强中幅度与相位相互依赖的挑战。
• 通过在复数谱域中联合优化幅度和相位分量，提升语音质量和可懂度。
• 通过引入具有分层优化的并行多阶段框架，克服传统顺序式单阶段模型的局限性。
• 通过用二维卷积和残差学习替代转置卷积解码器，降低计算成本，同时保持高性能。
• 通过使用 DNSMOS 作为标准，使模型输出与人类主观评分对齐，从而提升感知质量。

提出的方法

• 该框架包含一个谱特征提取模块（FEM），在每个卷积层后应用 UNet 风格的跳跃连接，以实现多尺度特征再校准。
• 凝视-凝视模块（GGM）将复数谱优化分解为两个并行子任务：凝视路径估计幅度以实现噪声抑制，凝视路径在复数域中恢复丢失的频谱细节。
• 每个 GGM 使用共享的编码器-解码器结构与残差连接，支持在堆叠阶段中实现迭代优化。
• 凝视路径在幅度域中运行，以生成粗略的谱估计；凝视路径在复数域中运行，以细化相位与振幅细节。
• 模型通过在复数谱上使用均方误差（MSE）损失进行端到端训练，无需显式建模相位，而是通过实部与虚部的隐式估计实现相位恢复。
• 网络通过仅使用步长大于1的卷积和二维卷积，避免使用昂贵的转置卷积，从而减少乘加操作（MAC）次数与内存占用。

实验结果

研究问题

• RQ1 双路径协同学习框架是否能通过在复数域中联合优化幅度与相位，提升语音增强性能？
• RQ2 并行多阶段架构是否在谱准确度与感知质量方面优于顺序或单阶段模型？
• RQ3 通过堆叠的凝视-凝视模块进行迭代优化，是否能在低信噪比（SNR）环境中实现更好的收敛性与鲁棒性？
• RQ4 与最先进的时域与频域基线方法相比，该方法在计算效率与性能方面表现如何？
• RQ5 该模型在不同信噪比水平与噪声类型的多样化数据集上，泛化能力如何？

主要发现

• 在 WSJ0-SI84 数据集上，GaGNet 达到 WB-PESQ 2.94，优于此前的最先进系统（包括 PHASEN 和 MetricGAN+）。
• 在 DNS-Challenge 数据集上，GaGNet 在全部四项指标中均取得最高分：WB-PESQ（2.94）、STOI（0.87）、SI-SDR（14.8 dB）和 PESQ（2.71），全面超越所有先前方法。
• 在 Voicebank+Demand 数据集上，GaGNet 取得具有竞争力的结果，CSIG 为 4.26，COVL 为 3.59，在高输入 SNR 水平下仍位列顶尖模型之列。
• GaGNet 在所有测试系统中取得最高的 DNSMOS 评分（4.28），表明其在主观语音质量感知方面表现卓越。
• GaGNet 的计算成本低于同类模型，仅需 120 万个参数与 1.8 GFLOPs（针对 1 秒音频输入），在延迟与效率方面优于 ConvTasNet。
• 消融实验表明，双路径结构与多阶段堆叠显著提升性能，其中凝视路径有效降低残留噪声并恢复频谱细节。