[论文解读] Investigating gated recurrent neural networks for speech synthesis

Zhizheng Wu, Simon King|arXiv (Cornell University)|Jan 11, 2016

Speech Recognition and Synthesis参考文献 21被引用 19

一句话总结

本文研究了长短期记忆（LSTM）网络中各个组件在语音合成中的作用，提出了一种仅保留遗忘门的简化架构。通过可视化与实证分析，表明遗忘门对于建模语音的时序结构至关重要，而输入门和输出门等其他组件可被移除而不影响性能，参数量减少约50%，生成时间减少28%。

ABSTRACT

Recently, recurrent neural networks (RNNs) as powerful sequence models have re-emerged as a potential acoustic model for statistical parametric speech synthesis (SPSS). The long short-term memory (LSTM) architecture is particularly attractive because it addresses the vanishing gradient problem in standard RNNs, making them easier to train. Although recent studies have demonstrated that LSTMs can achieve significantly better performance on SPSS than deep feed-forward neural networks, little is known about why. Here we attempt to answer two questions: a) why do LSTMs work well as a sequence model for SPSS; b) which component (e.g., input gate, output gate, forget gate) is most important. We present a visual analysis alongside a series of experiments, resulting in a proposal for a simplified architecture. The simplified architecture has significantly fewer parameters than an LSTM, thus reducing generation complexity considerably without degrading quality.

研究动机与目标

• 通过分析其内部组件，理解LSTM在语音合成中表现优异的原因。
• 识别LSTM组件（如遗忘门、输入门）在建模语音轨迹中的关键作用。
• 开发一种简化循环架构，在降低复杂度的同时保持高质量的语音合成性能。
• 评估移除组件对客观指标与合成语音主观自然度的影响。

提出的方法

• 通过可视化遗忘门激活情况，分析其与音素边界及语音结构的相关性。
• 分析LSTM单元状态与预测声学特征轨迹（如MFCC）之间的相关性。
• 对LSTM变体进行实证评估：NIG（无输入门）、NOG（无输出门）、NFG（无遗忘门）、NPH（无窥孔连接）、S-LSTM（仅保留遗忘门）。
• 采用序列到序列框架，使用上下文窗口输入与标准损失函数进行训练与评估。
• 通过客观指标（MCD、F0 RMSE、BAP、V/UV）与30名母语者参与的主观偏好测试比较各模型表现。
• 实现一种仅含遗忘门的简化LSTM（S-LSTM），无输入门、输出门或窥孔连接。

实验结果

研究问题

• RQ1 LSTM中的遗忘门如何促进对语音参数序列时序结构的建模？
• RQ2 记忆单元在语音合成过程中追踪声学特征轨迹时发挥什么作用？
• RQ3 LSTM架构中的哪些组件对高质量语音合成至关重要？
• RQ4 仅保留遗忘门的简化LSTM架构能否实现与完整LSTM相当的性能？
• RQ5 在移除LSTM组件时，模型复杂度与合成质量之间的权衡如何？

主要发现

• 遗忘门激活与音素边界强相关，表明其在建模语音结构中的关键作用。
• LSTM单元状态与目标声学轨迹保持高度相关性（相关系数0.9），表明其能有效追踪预测序列的形状。
• NFG模型（无遗忘门）性能显著下降（MCD：4.68 dB），证实遗忘门至关重要。
• S-LSTM仅保留遗忘门，参数量从788,224减少至393,728，生成时间从214秒降至154秒，减少28%。
• 主观测试显示，LSTM与S-LSTM之间无显著偏好，S-LSTM在与LSTM配对测试中获得74.3%的偏好率。
• GRU与S-LSTM架构在参数更少的情况下达到与完整LSTM相当的性能，表明复杂门控机制并非高质量合成的必要条件。