[论文解读] Grow and Prune Compact, Fast, and Accurate LSTMs

Xiaoliang Dai, Hongxu Yin+1 more|arXiv (Cornell University)|May 30, 2018

Multimodal Machine Learning Applications参考文献 33被引用 15

一句话总结

该论文提出了一种带有生长与剪枝（GP）训练的隐藏层LSTM（H-LSTM），以构建紧凑、快速且准确的模型。通过在LSTM控制门中增加内部隐藏层，并采用基于梯度的生长和基于重要性的剪枝方法，该方法将参数量减少最多达38.7倍，FLOPs减少45.5倍，延迟降低4.5倍，同时在语音识别任务中将CIDEr得分提高2.6分，词错误率从12.9%降至8.7%。

ABSTRACT

Long short-term memory (LSTM) has been widely used for sequential data modeling. Researchers have increased LSTM depth by stacking LSTM cells to improve performance. This incurs model redundancy, increases run-time delay, and makes the LSTMs more prone to overfitting. To address these problems, we propose a hidden-layer LSTM (H-LSTM) that adds hidden layers to LSTM's original one level non-linear control gates. H-LSTM increases accuracy while employing fewer external stacked layers, thus reducing the number of parameters and run-time latency significantly. We employ grow-and-prune (GP) training to iteratively adjust the hidden layers through gradient-based growth and magnitude-based pruning of connections. This learns both the weights and the compact architecture of H-LSTM control gates. We have GP-trained H-LSTMs for image captioning and speech recognition applications. For the NeuralTalk architecture on the MSCOCO dataset, our three models reduce the number of parameters by 38.7x [floating-point operations (FLOPs) by 45.5x], run-time latency by 4.5x, and improve the CIDEr score by 2.6. For the DeepSpeech2 architecture on the AN4 dataset, our two models reduce the number of parameters by 19.4x (FLOPs by 23.5x), run-time latency by 15.7%, and the word error rate from 12.9% to 8.7%. Thus, GP-trained H-LSTMs can be seen to be compact, fast, and accurate.

研究动机与目标

• 解决深度LSTM中模型精度、推理速度与参数效率之间的权衡问题。
• 克服堆叠LSTM的局限性，后者会增加延迟、参数量以及过拟合风险。
• 开发一种方法，联合学习最优网络结构与权重，以实现紧凑且高性能的LSTM。
• 实现在移动设备和嵌入式系统等资源受限设备上的准确LSTM部署。
• 在模型大小、推理速度与精度三个关键指标上均实现卓越性能。

提出的方法

• 提出H-LSTM，通过在LSTM控制门中引入多层隐藏结构，实现在单元内部的多层次抽象。
• 引入一种生长与剪枝（GP）训练框架，结合基于梯度的生长与基于重要性的剪枝，协同优化权重与网络结构。
• 在生长阶段使用Leaky ReLU以防止神经元“死亡”，随后切换至ReLU进行最终训练与剪枝。
• 在生长后应用基于重要性的剪枝方法，移除低重要性连接，实现高达94.22%的稀疏度。
• 利用H-LSTM门中的ReLU激活函数，在推理阶段由于稀疏激活模式，使FLOPs减少14.5%。
• 通过反向传播端到端训练模型，使网络能够同时学习最优结构与权重。

实验结果

研究问题

• RQ1 在LSTM控制门中增加内部隐藏层，是否能在减少参数量和推理延迟的同时提升模型精度？
• RQ2 结合生长与剪枝（GP）的训练策略，是否能有效联合学习H-LSTM的权重与网络结构？
• RQ3 与使用sigmoid/tanh门的原始LSTM相比，H-LSTM门中使用ReLU是否能带来可测量的FLOPs与延迟降低？
• RQ4 在宽度减小的情况下，H-LSTM是否仍能在精度、速度与紧凑性方面优于标准堆叠LSTM？
• RQ5 正则化（如Dropout）在H-LSTM模型中对泛化能力的提升程度如何？

主要发现

• 在MSCOCO图像字幕生成任务中，GP训练的H-LSTM将参数量减少38.7倍，FLOPs减少45.5倍，运行时延迟降低4.5倍，CIDEr得分提升2.6分。
• 在AN4语音识别任务中，H-LSTM将参数量减少19.4倍，FLOPs减少23.5倍，延迟降低15.7%，词错误率从12.9%降至8.7%。
• 最终的紧凑H-LSTM模型通过复合式生长与剪枝实现94.22%的稀疏度，显著减小了模型尺寸。
• 由于平均激活稀疏度达48.3%，H-LSTM门中使用ReLU使推理阶段FLOPs减少14.5%。
• 单层H-LSTM在宽度减小（从512降至320）的情况下，其在精度、速度与紧凑性三个维度上的表现均优于标准LSTM。
• Dropout正则化使CIDEr提升2.0分，词错误率降低0.96分，证实其在H-LSTM泛化中的关键作用。