[论文解读] FeatherWave: An efficient high-fidelity neural vocoder with multi-band linear prediction

Qiao Tian, Zewang Zhang+3 more|arXiv (Cornell University)|May 12, 2020

Speech Recognition and Synthesis参考文献 21被引用 9

一句话总结

FeatherWave 通过在 LPCNet 框架中集成多带线性预测（MB-LP），提出了一种高保真、高效的神经声码器，实现了语音样本的并行生成并降低了计算复杂度。它在双核 CPU 上实现了 24 kHz 采样率下 10 倍实时合成速度，MOS 得分为 4.55，相较于 LPCNet 在速度和质量上均有提升。

ABSTRACT

In this paper, we propose the FeatherWave, yet another variant of WaveRNN vocoder combining the multi-band signal processing and the linear predictive coding. The LPCNet, a recently proposed neural vocoder which utilized the linear predictive characteristic of speech signal in the WaveRNN architecture, can generate high quality speech with a speed faster than real-time on a single CPU core. However, LPCNet is still not efficient enough for online speech generation tasks. To address this issue, we adopt the multi-band linear predictive coding for WaveRNN vocoder. The multi-band method enables the model to generate several speech samples in parallel at one step. Therefore, it can significantly improve the efficiency of speech synthesis. The proposed model with 4 sub-bands needs less than 1.6 GFLOPS for speech generation. In our experiments, it can generate 24 kHz high-fidelity audio 9x faster than real-time on a single CPU, which is much faster than the LPCNet vocoder. Furthermore, our subjective listening test shows that the FeatherWave can generate speech with better quality than LPCNet.

研究动机与目标

• 开发一种更快、更高效的神经声码器，适用于实时处理和边缘设备部署。
• 解决现有轻量级 RNN 基声码器（如 LPCNet 和 Multi-band WaveRNN）在 24 kHz 高保真语音合成中的计算效率低下问题。
• 通过在 LPCNet 架构中结合多带处理与线性预测，提升语音质量和生成速度。
• 通过优化推理内核和模型剪枝，实现在资源受限设备上的高质量、低延迟推理。

提出的方法

• 将多带信号处理集成到 LPCNet 框架中，使每一步 RNN 可并行生成多个语音样本。
• 应用多带线性预测（MB-LP）联合建模子带信号，缩短序列长度并降低计算负载。
• 采用 8 位 μ-law 量化结合预加重和单个 softmax 输出层，与 LPCNet 类似，实现对离散化语音的高效建模。
• 采用两阶段稀疏剪枝方法（TSSP）以提升模型效率并减少量化噪声，从而改善语音质量。
• 设计了定制的流式推理内核，利用双核 CPU 的多线程能力加速推理过程。
• 使用梅尔频谱图提取 LP 滤波器，避免了单独的基音周期提取，提升了模型鲁棒性。

实验结果

研究问题

• RQ1 多带处理是否能显著提升轻量级 RNN 基神经声码器（如 LPCNet）的推理速度，同时不牺牲语音质量？
• RQ2 将多带线性预测与 LPCNet 结合后，对计算复杂度和生成效率有何影响？
• RQ3 与传统剪枝方法相比，所提出的两阶段稀疏剪枝方法在提升语音质量和模型效率方面达到何种程度？
• RQ4 FeatherWave 是否能在双核 CPU 上实现 24 kHz 高保真语音合成的 10 倍实时速度，同时保持高主观感知质量？
• RQ5 在 24 kHz 条件下，FeatherWave 与当前最先进模型（如 MoL WaveNet）在主观质量评估中表现如何？

主要发现

• FeatherWave 在 24 kHz 语音生成中的计算复杂度为 1.6 GFLOPS，显著低于 LPCNet 的 2.8 GFLOPS。
• 通过优化的多线程推理内核，模型在双核 CPU 上实现了 24 kHz 高保真语音生成的 10 倍实时速度。
• 主观听音测试显示，FeatherWave 在 24 kHz 下的 MOS 得分为 4.55，略低于 MoL WaveNet（4.58），但优于 LPCNet（4.48）。
• 两阶段稀疏剪枝方法（TSSP）在 90% 剪枝率下将 NLL 从 4.14 降低至 4.07，表明模型质量提升且剪枝选择风险降低。
• 通过使用 10 位 μ-law 量化和单个 softmax 层，模型产生的量化噪声和保真度损失低于 LPCNet。
• FeatherWave 在推理速度上优于 Parallel WaveNet，仅需两颗 CPU 核心即可达到与后者在相同硬件上相似的速度，而后者需八颗核心。