[论文解读] Frequency Gating: Improved Convolutional Neural Networks for Speech Enhancement in the Time-Frequency Domain

Koen Oostermeijer, Qing Wang+1 more|arXiv (Cornell University)|Dec 7, 2020

Speech and Audio Processing参考文献 33被引用 3

一句话总结

本文提出频率门控（Frequency Gating）方法，通过学习乘法权重使卷积神经网络（CNN）核在语音增强任务中具备频率依赖性，从而在性能上超越标准CNN。该方法引入了局部门控和频率自适应门控机制，并提出一种基于扩展短时客观可懂度（ESTOI）的损失函数，其在语音质量与可懂度方面均优于基线模型。

ABSTRACT

One of the strengths of traditional convolutional neural networks (CNNs) is their inherent translational invariance. However, for the task of speech enhancement in the timefrequency domain, this property cannot be fully exploited due to a lack of invariance in the frequency direction. In this paper we propose to remedy this inefficiency by introducing a method, which we call Frequency Gating, to compute multiplicative weights for the kernels of the CNN in order to make them frequency dependent. Several mechanisms are explored: temporal gating, in which weights are dependent on prior time frames, local gating, whose weights are generated based on a single time frame and the ones adjacent to it, and frequency-wise gating, where each kernel is assigned a weight independent of the input data. Experiments with an autoencoder neural network with skip connections show that both local and frequency-wise gating outperform the baseline and are therefore viable ways to improve CNN-based speech enhancement neural networks. In addition, a loss function based on the extended short-time objective intelligibility score (ESTOI) is introduced, which we show to outperform the standard mean squared error (MSE) loss function.

研究动机与目标

• 解决标准CNN在时频域中的局限性，即由于缺乏频率不变性，导致平移不变性未能被充分利用。
• 通过学习的门控机制使CNN核自适应于频带内容，从而提升语音增强性能。
• 探索多种门控策略——时间门控、局部门控与频率自适应门控，以确定哪种最能增强时频表示中的特征学习能力。
• 设计并评估一种基于扩展短时客观可懂度（ESTOI）分数的新损失函数，以更好地对齐训练目标与感知语音质量。
• 证明通过频率依赖核加权与基于ESTOI的训练，可显著优于使用MSE损失的标准CNN模型。

提出的方法

• 提出频率门控机制，通过计算乘法权重使CNN核具备频率依赖性，从而更有效地建模谱特征。
• 实现三种门控变体：时间门控（权重依赖于先前时间帧）、局部门控（基于当前及相邻帧的特征）与频率自适应门控（每核固定频率权重）。
• 将门控机制集成至类似U-Net的自编码器结构中，通过跳跃连接保留高分辨率特征。
• 设计一种基于扩展短时客观可懂度（ESTOI）分数的新损失函数，以优化感知语音质量与可懂度。
• 采用端到端反向传播训练网络，其中门控权重与网络参数通过基于ESTOI的损失函数联合优化。
• 使用标准指标如PESQ、STOI与ESTOI评估模型性能，对比不同门控策略与损失函数的表现。

实验结果

研究问题

• RQ1 频率依赖核加权是否能提升CNN在时频域语音增强任务中的性能？
• RQ2 在语音质量与可懂度方面，时间门控、局部门控与频率自适应门控三种机制的表现如何比较？
• RQ3 使用基于ESTOI的损失函数进行训练是否能获得优于标准MSE损失的增强效果？
• RQ4 频率门控在多大程度上提升了模型保留语音细节并抑制噪声的能力？
• RQ5 所提方法是否能在客观与主观语音质量指标上全面超越标准CNN？

主要发现

• 局部门控与频率自适应门控机制在语音增强性能上均优于标准CNN基线模型。
• 所提出的基于ESTOI的损失函数在性能上优于标准均方误差（MSE）损失，尤其在提升语音可懂度方面表现更优。
• 频率自适应门控在所有提出的门控策略中表现最佳，表明固定频率依赖的核权重具有高度有效性。
• 频率自适应门控与ESTOI损失的结合显著提升了STOI与ESTOI等客观指标。
• 采用频率门控与ESTOI损失的模型在PESQ与STOI指标上均优于基线，证明其在语音质量与清晰度方面有显著提升。
• 结果证实，通过门控机制使CNN核具备频率依赖性，可增强时频域中的特征学习能力，从而实现更鲁棒的语音增强。