[论文解读] FullSubNet: A Full-Band and Sub-Band Fusion Model for Real-Time Single-Channel Speech Enhancement

Xiang Hao, Xiangdong Su+2 more|arXiv (Cornell University)|Oct 29, 2020

Speech and Audio Processing参考文献 24被引用 12

一句话总结

FullSubNet 是一种实时、单通道语音增强模型，通过顺序架构融合全带和子带特征：全带模型首先捕捉全局频谱上下文和长程依赖关系，随后在子带模型中将这些信息与局部子带特征（包括信号平稳性和局部频谱模式）结合。该方法在 DNS Challenge 2020 数据集上实现了最先进性能，在客观指标上超越了排名靠前的方法，同时保持了低延迟。

ABSTRACT

This paper proposes a full-band and sub-band fusion model, named as FullSubNet, for single-channel real-time speech enhancement. Full-band and sub-band refer to the models that input full-band and sub-band noisy spectral feature, output full-band and sub-band speech target, respectively. The sub-band model processes each frequency independently. Its input consists of one frequency and several context frequencies. The output is the prediction of the clean speech target for the corresponding frequency. These two types of models have distinct characteristics. The full-band model can capture the global spectral context and the long-distance cross-band dependencies. However, it lacks the ability to modeling signal stationarity and attending the local spectral pattern. The sub-band model is just the opposite. In our proposed FullSubNet, we connect a pure full-band model and a pure sub-band model sequentially and use practical joint training to integrate these two types of models' advantages. We conducted experiments on the DNS challenge (INTERSPEECH 2020) dataset to evaluate the proposed method. Experimental results show that full-band and sub-band information are complementary, and the FullSubNet can effectively integrate them. Besides, the performance of the FullSubNet also exceeds that of the top-ranked methods in the DNS Challenge (INTERSPEECH 2020).

研究动机与目标

• 解决纯全带模型和子带模型在单通道语音增强中的局限性：全带模型缺乏对局部模式和平稳性的建模能力，而子带模型则忽略了跨频带的长程依赖关系。
• 设计一种实时、端到端可训练的融合模型，整合全带和子带表示的互补优势。
• 通过联合优化全局频谱上下文和局部信号特性（如平稳性和频谱模式），提升语音质量和可懂度。
• 在 DNS Challenge 2020 基准测试中，相比现有最先进方法取得更优性能，尤其在 WB-PESQ 和 SI-SDR 等客观指标上表现突出。

提出的方法

• 模型采用双流架构：全带模型处理整个幅度谱，以捕捉全局上下文和长程依赖关系。
• 子带模型对每个频率 bin 独立处理，使用包含上下文的 2N+1 个频率 bin 局部窗口，实现对信号平稳性和局部频谱模式的建模。
• 全带模型的输出与局部子带输入（某个频率及其邻近频率的幅度谱）拼接，作为子带模型的输入。
• 全带模型和子带模型以级联方式联合训练：全带模型的输出作为辅助输入馈送到子带模型。
• 全带模型使用两层 LSTM，子带模型也使用两层 LSTM，全带模型的输出作为子带网络的上下文特征。
• 模型通过监督损失在干净语音目标上进行端到端训练，最终输出为预测的干净幅度谱。

实验结果

研究问题

• RQ1 将全带和子带表示相结合，是否能超越单一方法的性能表现？
• RQ2 融合全局频谱上下文（全带）与局部信号平稳性（子带）是否能更好地建模低信噪比子带？
• RQ3 顺序连接的融合架构是否能在保持实时处理的同时，优于独立的全带或子带模型？
• RQ4 子带模型所学习的信息（如平稳性、局部模式）是否与全带模型所捕捉的信息具有互补性？
• RQ5 所提出的融合模型是否能在客观指标和实时性能两方面均超越现有最先进方法？

主要发现

• 在含混响的测试集上，FullSubNet 的 WB-PESQ 得分为 2.969，SI-SDR 为 15.750，显著优于子带模型（WB-PESQ：2.650，SI-SDR：14.673）和全带模型（WB-PESQ：2.681，SI-SDR：13.580）。
• 在非混响测试集上，FullSubNet 的 WB-PESQ 为 2.777，SI-SDR 为 17.290，优于全带模型（WB-PESQ：2.731，SI-SDR：16.190）和子带模型（WB-PESQ：2.369，SI-SDR：16.153）。
• 尽管参数量更少（5.6M），低于全带模型（6.0M），FullSubNet 仍表现更优，表明子带模块提供了独特且非冗余的信息。
• FullSubNet 超越了 DNS Challenge 排名靠前的方法，包括 DCCRN（RT-1，WB-PESQ：3.077）和 PoCoNet（NRT-1，WB-PESQ：2.832），在混响测试集上取得更高的 WB-PESQ（2.969）和更优的 SI-SDR（15.750）。
• 模型实现了实时性能，延迟仅为 32ms（在四核 CPU 上每帧处理时间为 32ms），满足 DNS Challenge 对实时性的要求。
• 消融实验验证了全带与子带特征融合的协同效应：全带模型提升了子带在低信噪比区域的性能，而子带模型也增强了全带模型对局部动态特性的建模能力。