[论文解读] LVCNet: Efficient Condition-Dependent Modeling Network for Waveform Generation

Zhen Zeng, Jianzong Wang+2 more|arXiv (Cornell University)|Feb 22, 2021

Music and Audio Processing参考文献 25被引用 4

一句话总结

该论文提出LVCNet，一种新颖的条件卷积网络，采用基于位置可变卷积的机制，根据梅尔频谱图等条件特征动态调整卷积核系数，以高效建模长期波形依赖关系。通过用条件预测的、区间特定的卷积核替代Parallel WaveGAN中的固定卷积核，LVCNet在不损失音质的前提下，实现比原始模型快四倍的推理速度，显著提升了波形生成的效率。

ABSTRACT

In this paper, we propose a novel conditional convolution network, named location-variable convolution, to model the dependencies of the waveform sequence. Different from the use of unified convolution kernels in WaveNet to capture the dependencies of arbitrary waveform, the location-variable convolution uses convolution kernels with different coefficients to perform convolution operations on different waveform intervals, where the coefficients of kernels is predicted according to conditioning acoustic features, such as Mel-spectrograms. Based on location-variable convolutions, we design LVCNet for waveform generation, and apply it in Parallel WaveGAN to design more efficient vocoder. Experiments on the LJSpeech dataset show that our proposed model achieves a four-fold increase in synthesis speed compared to the original Parallel WaveGAN without any degradation in sound quality, which verifies the effectiveness of location-variable convolutions.

研究动机与目标

• 解决自回归和标准非自回归声码器在实时语音合成中的效率低下问题。
• 在降低计算成本的前提下，提升原始波形生成中长期时间依赖关系的建模能力。
• 设计一种更高效的声码器架构，在保持高保真语音质量的同时加速推理过程。
• 探索基于声学上下文按波形区间变化的条件性、自适应卷积核。

提出的方法

• 提出位置可变卷积（LVC），其中卷积核系数根据输入区间的条件特征（如梅尔频谱图）通过核预测器动态预测。
• 在Parallel WaveGAN框架中应用LVC模块，用条件自适应核替代标准的空洞因果卷积。
• 使用独立的核预测网络，基于局部条件特征为不同时间区间生成不同的核权重。
• 采用类似WaveNet的门控残差块结构，但用LVC替代标准卷积，以实现上下文感知的特征学习。
• 通过对抗损失与多尺度判别器联合训练，以保持音频质量。
• 通过自适应核匹配优化推理过程，在减少残差通道数的同时维持性能。

Fig. 1 : An example of convolution process in the location-variable convolution. According to the conditioning sequence, the kernel predictor generates multiple sets of convolution kernels, which are used to perform convolution operations on the associated intervals in the input sequence. Each eleme

实验结果

研究问题

• RQ1 条件自适应卷积核是否能在不损失音质的前提下提升波形生成的效率？
• RQ2 位置可变卷积机制在建模原始波形中的长期依赖关系方面，与固定核卷积相比表现如何？
• RQ3 在非自回归声码器中，通过自适应核预测，能够多大程度上补偿残差通道数的减少？
• RQ4 所提出的LVCNet是否实现了比现有非自回归声码器（如Parallel WaveGAN）更快的推理速度？

主要发现

• 在CPU上，LVCNet的合成速度相比原始Parallel WaveGAN提升四倍，实时因子（RTF）从3.58降至0.73。
• 模型保持了近乎相同的主观音质，MOS得分为4.15±0.10，与原始Parallel WaveGAN在128个残差通道下的表现相当。
• 即使仅使用4个残差通道，LVCNet的MOS得分仍达3.96±0.15，表明其对容量减少具有强鲁棒性。
• 在NVIDIA V100 GPU上，LVCNet的合成速度达到约300 MHz，远超Parallel WaveGAN的35 MHz。
• 在TTS系统中，当与Transformer TTS结合使用时，LVCNet相比Parallel WaveGAN将合成时间减少了15%，同时保持了相近的MOS得分。
• 核预测器使模型即使在参数更少的情况下，也能有效建模长程依赖关系，充分证明了条件核自适应的有效性。

(a) Architecture of LVCNet