[论文解读] Fast FullSubNet: Accelerate Full-band and Sub-band Fusion Model for Single-channel Speech Enhancement

Xiang Hao, Xiaofei Li|arXiv (Cornell University)|Dec 18, 2022

Speech and Audio Processing被引用 5

一句话总结

本文提出 Fast FullSubNet，一种计算效率更高的架构，通过在梅尔频率域处理语音并对接收带特征进行时域下采样，从而加速 FullSubNet。通过将频带数从 257 减少至 64，并将子带序列下采样 2 倍，Fast FullSubNet 将计算复杂度降至 FullSubNet 的 13%，处理时间降至 16%，同时在 DNS Challenge 数据集上保持或提升了语音增强性能。

ABSTRACT

FullSubNet is our recently proposed real-time single-channel speech enhancement network that achieves outstanding performance on the Deep Noise Suppression (DNS) Challenge dataset. A number of variants of FullSubNet have been proposed, but they all focus on the structure design towards better performance and are rarely concerned with computational efficiency. For many speech enhancement applications, a key feature is that system runs on a real-time, latency-sensitive, battery-powered platform, which strictly limits the algorithm latency and computational complexity. In this work, we propose a new architecture named Fast FullSubNet dedicated to accelerating the computation of FullSubNet. Specifically, Fast FullSubNet processes sub-band speech spectra in the mel-frequency domain by using cascaded linear-to-mel full-band, sub-band, and mel-to-linear full-band models such that frequencies involved in the sub-band computation are vastly reduced. After that, a down-sampling operation is proposed for the sub-band input sequence to further reduce the computational complexity along the time axis. Experimental results show that, compared to FullSubNet, Fast FullSubNet has only 13\% computational complexity and 16\% processing time, and achieves comparable or even better performance. Code and audio samples are available at https://github.com/Audio-WestlakeU/FullSubNet.

研究动机与目标

• 为解决 FullSubNet 的高计算成本，特别是实时、低延迟、电池供电应用中因重复子带模型推理带来的问题。
• 在不牺牲语音增强性能的前提下降低计算复杂度，尤其针对全带与子带融合模型。
• 探索在梅尔频率域处理语音的可行性，以更紧凑地表示频谱信息，同时保持感知质量。
• 设计一种灵活、即插即用的加速框架，适用于其他 FullSubNet 变体及基于融合的语音增强模型。

提出的方法

• 将线性频率的 STFT 特征转换为梅尔频率域，将频带数从 257 减少至 64，实现更紧凑的处理。
• 级联三个模型：梅尔频率域的全带模型、在减少频率梅尔通道上运行的子带模型，以及用于频谱重建的梅尔到线性全带模型。
• 对子带特征序列应用时域下采样（因子 m=2），以降低时间复杂度，随后通过梅尔到线性模型进行插值。
• 所有模型均使用具有 384–512 个隐藏单元的单向 LSTMs，基于 DNS Challenge 数据集以 MSE 损失进行训练，序列长度为 T=192 帧（3 秒）。
• 利用后置的梅尔到线性模型对下采样后的子带输出进行插值，实现全带频谱的高效重建。
• 在子带建模中设置邻近频率数 N=5，以在局部频谱上下文与计算负载之间取得平衡。

实验结果

研究问题

• RQ1 在梅尔频率域处理是否能显著减少频带数量，同时不降低语音增强性能？
• RQ2 结合梅尔到线性重建模型时，对子带特征进行时域下采样是否能保留足够信息以实现有效的语音增强？
• RQ3 在全带与子带融合模型（如 FullSubNet）中，计算复杂度与推理延迟可降低到何种程度？
• RQ4 Fast FullSubNet 在性能指标与效率方面与 SOTA 方法相比表现如何？

主要发现

• 当使用 m=2 的下采样因子时，Fast FullSubNet 的计算复杂度降至 FullSubNet 的 13%，推理时间降至 16%，同时保持或提升了性能。
• 当 m=1（无时域下采样）时，模型将 MACs 降低至 25%，RTF 降低至 29%，且 PESQ、STOI 和 SI-SDR 分数保持相当或更优。
• 使用梅尔频率表示相比线性频率全带模型性能更优，可能归因于其更紧凑且与感知相关的频谱表示。
• 子带下采样因子 m=2 实现了近似最优的权衡：进一步提高 m 至 4 或 8 会降低性能，而 m=∞（移除子带模型）的结果与 m=8 相当。
• 更高下采样因子导致性能下降的原因在于减少的前瞻上下文；增加前瞻帧数可支持更高下采样而无性能损失。
• Fast FullSubNet 的加速策略具有通用性，可适用于其他 FullSubNet 变体，为全带与子带融合模型提供即插即用的高效解决方案。