[论文解读] An Improved Residual LSTM Architecture for Acoustic Modeling

Lu Huang, Jiasong Sun+2 more|arXiv (Cornell University)|Aug 17, 2017

Speech Recognition and Synthesis被引用 3

一句话总结

本文提出了一种改进的残差长短期记忆（LSTM）架构，用于自动语音识别中的声学建模，通过将残差连接整合到LSTM单元中，以提升训练稳定性和性能。实验表明，在TIMIT数据集上，电话错误率（PER）相对降低了8%，在残差快速LSTM变体上相对降低了4%，且在THCHS-30、Librispeech和Switchboard等多个数据集上均表现出良好的泛化能力。

ABSTRACT

Long Short-Term Memory (LSTM) is the primary recurrent neural networks architecture for acoustic modeling in automatic speech recognition systems. Residual learning is an efficient method to help neural networks converge easier and faster. In this paper, we propose several types of residual LSTM methods for our acoustic modeling. Our experiments indicate that, compared with classic LSTM, our architecture shows more than 8% relative reduction in Phone Error Rate (PER) on TIMIT tasks. At the same time, our residual fast LSTM approach shows 4% relative reduction in PER on the same task. Besides, we find that all this architecture could have good results on THCHS-30, Librispeech and Switchboard corpora.

研究动机与目标

• 为解决在自动语音识别中训练深层循环神经网络的挑战，通过改善收敛性和表征学习能力。
• 通过残差学习增强标准LSTM架构的性能，实现更深且更稳定的训练。
• 开发一种新型残差LSTM变体，在保持计算效率的同时提升声学建模的准确性。
• 在包括TIMIT、THCHS-30、Librispeech和Switchboard在内的多种语音语料上评估所提出的架构，以评估其泛化能力。

提出的方法

• 通过在LSTM单元内部引入残差连接，将输入到LSTM单元输出之间添加跳跃连接，类似于卷积神经网络中的残差网络。
• 提出多种残差LSTM变体，包括标准残差LSTM和参数量更少的快速变体。
• 将残差学习应用于隐藏状态转移，使梯度能更直接地通过深层网络。
• 采用一种残差连接，将输入加到LSTM单元的输出上，通过引入残差项修改标准LSTM更新规则。
• 采用一种残差快速LSTM变体，降低计算复杂度，同时保持性能提升。
• 使用标准优化技术在大规模语音识别数据集上端到端训练模型。

实验结果

研究问题

• RQ1 残差学习能否改善基于LSTM的声学模型的训练动态和性能？
• RQ2 在基准数据集上，所提出的残差LSTM架构与标准LSTM相比，在电话错误率（PER）方面表现如何？
• RQ3 残差快速LSTM变体是否在降低计算成本的同时保持高精度？
• RQ4 所提出的架构能否在TIMIT、Librispeech和Switchboard等多样化语音识别数据集上有效泛化？

主要发现

• 所提出的残差LSTM架构在TIMIT基准测试中相比标准LSTM实现了8%的相对PER降低。
• 残差快速LSTM变体在同一TIMIT任务上实现了4%的相对PER降低，表明在不牺牲准确性的前提下提升了效率。
• 该模型在多个数据集上泛化良好，在THCHS-30、Librispeech和Switchboard上均表现出一致的性能提升。
• 残差连接的引入使得更深的网络能够更稳定地训练并更快收敛。
• 残差快速LSTM变体在降低模型复杂度的同时保持了高性能，适用于实时应用场景。