[论文解读] LSTM Benchmarks for Deep Learning Frameworks

Stefan Braun|arXiv (Cornell University)|Jun 5, 2018

Speech Recognition and Synthesis参考文献 10被引用 19

一句话总结

本论文对 PyTorch、TensorFlow、Lasagne 和 Keras 中的 LSTM 实现进行了基准测试，评估其在典型自动语音识别（ASR）工作负载下的训练速度。结果表明，使用 cuDNN 优化的 LSTM 比非优化变体快达 7.2 倍；在 cuDNN 上，PyTorch 和 TensorFlow 表现相近；而旧版 PyTorch 由于可变长度序列处理效率低下，性能显著更慢。

ABSTRACT

This study provides benchmarks for different implementations of LSTM units between the deep learning frameworks PyTorch, TensorFlow, Lasagne and Keras. The comparison includes cuDNN LSTMs, fused LSTM variants and less optimized, but more flexible LSTM implementations. The benchmarks reflect two typical scenarios for automatic speech recognition, notably continuous speech recognition and isolated digit recognition. These scenarios cover input sequences of fixed and variable length as well as the loss functions CTC and cross entropy. Additionally, a comparison between four different PyTorch versions is included. The code is available online https://github.com/stefbraun/rnn_benchmarks.

研究动机与目标

• 评估并比较主流深度学习框架在自动语音识别（ASR）中 LSTM 单元的训练速度。
• 识别在涉及固定长度和可变长度序列的常见 ASR 工作负载中，最快且优化良好或灵活可配置的 LSTM 实现。
• 评估不同 PyTorch 版本对 LSTM 训练速度的影响，特别是针对可自定义、非融合实现的性能影响。
• 提供开源基准脚本以确保可复现性，并为研究人员选择高效框架和 LSTM 变体提供指导。

提出的方法

• 本研究使用标准 ASR 输入尺寸对 LSTM 单元进行基准测试：1x320 和 4x320 单元，分别对应 100 和 1000 个时间步，特征维度为 123。
• 评估了固定序列（交叉熵损失）和可变序列（CTC 损失）两种场景，以反映真实世界的 ASR 工作负载。
• 测试了四种深度学习框架：PyTorch、TensorFlow、Lasagne（Theano 后端）和 Keras（Theano 和 TensorFlow 后端）。
• 基准测试包含多种 LSTM 变体：基础/灵活型（如 LSTMCell）、融合型（如 LSTMBlockFusedCell）以及 cuDNN 优化型（如 cuDNNLSTM）。
• 在 100 次迭代中测量每批次的训练时间，并报告每种配置的均值和标准差。
• 对比分析了四个 PyTorch 版本（0.1.12_2 到 0.4.0），以评估其随时间推移的性能回归与改进。

实验结果

研究问题

• RQ1 在标准 ASR 工作负载下，哪种深度学习框架和 LSTM 实现提供最快的训练速度？
• RQ2 与灵活、用户可修改的变体相比，优化型 LSTM 实现（如 cuDNN、融合型）在训练速度上表现如何？
• RQ3 PyTorch 版本之间存在哪些性能差异，特别是在可变长度序列处理方面？
• RQ4 损失函数（交叉熵 vs. CTC）和序列长度（固定 vs. 可变）如何影响不同框架的训练时间？
• RQ5 框架特定的封装（如 Keras/TensorFlow 与 Keras/Theano）在多大程度上影响 LSTM 性能？

主要发现

• cuDNN 优化的 LSTM 实现速度最快，相比最慢的非优化变体提速高达 7.2 倍；在 cuDNN 上，PyTorch、TensorFlow 和 Keras 的性能几乎相同。
• 在非优化、灵活的 LSTM 中，Lasagne 的 LSTMLayer、使用 Theano 后端的 Keras 和 PyTorch 的 LSTMCell-basic 是最快的，比 TensorFlow 的 LSTMCell 快 1.6 倍。
• PyTorch 0.4.0 在灵活的 LSTMCell-basic 变体上比 PyTorch 0.2.0_4 快达 2.2 倍，尤其在长序列上，这是由于序列处理性能修复所致。
• Keras/Theano 后端比 Keras/TensorFlow 后端快 1.5 至 1.7 倍，而 Keras/TensorFlow 比 TensorFlow 原生实现慢 1.1 倍。
• 从固定序列切换到可变长度序列会使训练时间增加 10%–20%，其中 Lasagne 的 LSTMLayer 增幅最大（1.2 倍），PyTorch 增幅最小（1.1 倍）。
• 旧版 PyTorch（0.2.0_4 和 0.1.12_2）在短序列上的训练时间标准差显著更高，表明性能存在不稳定性。