[论文解读] LightSpeech: Lightweight and Fast Text to Speech with Neural Architecture Search

Renqian Luo, Xu Tan+6 more|arXiv (Cornell University)|Feb 8, 2021

Speech Recognition and Synthesis参考文献 24被引用 4

一句话总结

LightSpeech 提出了一种基于神经架构搜索（NAS）的方法，可自动设计轻量化且高效的文本到语音模型，其基础为 FastSpeech 2。通过分析模型组件并设计包含深度可分离卷积和高效模块的针对性搜索空间，该方法在保持语音质量相当的前提下，实现了 15 倍的模型压缩、16 倍的 MAC 计算量减少以及在 CPU 上 6.5 倍的推理加速。

ABSTRACT

Text to speech (TTS) has been broadly used to synthesize natural and intelligible speech in different scenarios. Deploying TTS in various end devices such as mobile phones or embedded devices requires extremely small memory usage and inference latency. While non-autoregressive TTS models such as FastSpeech have achieved significantly faster inference speed than autoregressive models, their model size and inference latency are still large for the deployment in resource constrained devices. In this paper, we propose LightSpeech, which leverages neural architecture search~(NAS) to automatically design more lightweight and efficient models based on FastSpeech. We first profile the components of current FastSpeech model and carefully design a novel search space containing various lightweight and potentially effective architectures. Then NAS is utilized to automatically discover well performing architectures within the search space. Experiments show that the model discovered by our method achieves 15x model compression ratio and 6.5x inference speedup on CPU with on par voice quality. Audio demos are provided at https://speechresearch.github.io/lightspeech.

研究动机与目标

• 为解决在移动电话和嵌入式系统等资源受限设备上部署高质量 TTS 模型的挑战。
• 在不牺牲语音质量的前提下，减小模型大小、推理延迟和计算成本（MACs）。
• 克服手动模型压缩的局限性，后者通常导致显著的性能下降。
• 开发适用于序列到序列 TTS 模型的搜索空间与 NAS 流程，特别是非自回归架构如 FastSpeech 2。
• 证明 NAS 可在效率和性能方面超越人工设计的轻量化模型。

提出的方法

• 对 FastSpeech 2 的组件进行了详细分析，以识别内存和延迟瓶颈，尤其集中在编码器、解码器和变体预测器上。
• 设计了一种新颖的搜索空间，包含深度可分离卷积（SepConv）、可变卷积核大小和减少的模块数量，同时保持模型容量。
• 由于其效率和与链式结构搜索空间的兼容性，选择 GBDT-NAS 作为搜索算法。
• 通过梯度提升决策树进行精度预测，以高效评估候选架构，而无需完整训练。
• 优化了搜索空间，仅包含轻量化且高效的组件，如卷积核大小为 5、9、13、17、21、25 的 SepConv。
• 在标准 TTS 指标（包括梅尔频谱图损失和 CMOS 语音质量）上训练并评估最终架构。

实验结果

研究问题

• RQ1 神经架构搜索能否有效发现轻量化 TTS 架构，使其在效率和质量方面均优于人工设计的模型？
• RQ2 搜索空间设计的选择如何影响 NAS 在 TTS 模型中的性能与效率？
• RQ3 深度可分离卷积和架构剪枝在不降低语音质量的前提下，能在多大程度上减少模型大小和 MAC 计算量？
• RQ4 基于 NAS 的压缩能否在 CPU 上实现显著的推理加速，同时保持与标准 FastSpeech 2 相当的音频质量？
• RQ5 与人工设计的 FastSpeech 2 轻量化变体相比，NAS 发现的模型在推理延迟和模型大小方面表现如何？

主要发现

• NAS 发现的 LightSpeech 模型实现了 15 倍的模型压缩率（180 万参数 vs. FastSpeech 2 的 2700 万参数）。
• LightSpeech 将计算成本降低了 16 倍，仅需 0.76G MACs，而 FastSpeech 2 需 12.50G MACs。
• 在 CPU 上，推理时间实现了 6.5 倍的加速，实时因子（RTF）从 6.1×10⁻² 降低至 9.3×10⁻³。
• LightSpeech 保持了相当的语音质量，CMOS 得分为 0.2561，与 FastSpeech 2 的 0.2575 相当。
• 从搜索空间中随机采样已优于人工设计的轻量化 FastSpeech 2*（损失 0.2753 vs. 0.2956），证明了搜索空间的质量。
• 最终架构在编码器中使用了卷积核大小为 5、25、13、9 的一系列 SepConv 层，在解码器中使用了 17、21、9、13 的卷积核，所有隐藏层大小均为 256。