[论文解读] A comparison of LSTM and GRU networks for learning symbolic sequences

Roberto Cahuantzi, Xinye Chen+1 more|arXiv (Cornell University)|Jul 5, 2021

Neural Networks and Applications参考文献 26被引用 27

一句话总结

本论文基于实证比较 LSTM 与 GRU RNN 在学习不同复杂度的符号序列上的表现，发现学习率和单元数至关重要；GRU 在低复杂度序列表现更优，而 LSTM 在高复杂度序列表现更佳。

ABSTRACT

We explore the architecture of recurrent neural networks (RNNs) by studying the complexity of string sequences it is able to memorize. Symbolic sequences of different complexity are generated to simulate RNN training and study parameter configurations with a view to the network's capability of learning and inference. We compare Long Short-Term Memory (LSTM) networks and gated recurrent units (GRUs). We find that an increase in RNN depth does not necessarily result in better memorization capability when the training time is constrained. Our results also indicate that the learning rate and the number of units per layer are among the most important hyper-parameters to be tuned. Generally, GRUs outperform LSTM networks on low-complexity sequences while on high-complexity sequences LSTMs perform better.

研究动机与目标

• 研究 RNN 架构如何记忆具有不同复杂度的符号序列。
• 评估超参数（学习率、层数、单元数）对记忆性能的影响。
• 比较 LSTM 与 GRU 在低复杂度和高复杂度序列任务中的表现。
• 提供见解以指导符号序列学习任务的超参数调优。

提出的方法

• 使用基于 LZW 的复杂度作为 Kolmogorov 复杂度代理，生成具有可控复杂度的种子字符串。
• 用 one-hot 向量对序列进行编码，并在滑动窗口中训练 RNN 以预测下一个符号。
• 在不同停止准则下，比较具有不同层数和单元总数的 LSTM 与 GRU 单元。
• 使用指定学习率的 Adam 优化器，在达到准确率或损失准则时停止训练。
• 使用文本相似性度量（Damerau–Levenshtein 和 Jaro–Winkler）在预测字符串与验证字符串之间评估预测准确性。
• 提供公开可获得的代码和库以复现实验。

实验结果

研究问题

• RQ1 学习率如何影响 LSTM 和 GRU 在符号序列上的训练效率和记忆准确性？
• RQ2 深度（层数）对 LSTM 与 GRU 的记忆性能和训练时间有何影响？
• RQ3 GRU 在低复杂度符号序列上是否优于 LSTM，且在高复杂度序列中这一关系是否会颠倒？
• RQ4 每层单元数量如何影响两种架构在不同序列复杂度下的性能与训练时间？

主要发现

• 学习率约为 0.01 在各种复杂度下获得了最好的训练时间。
• 具有中等单元数（约 100）的单层 RNN 往往足以完成所研究的任务。
• GRU 在低复杂度序列上优于 LSTM，而 LSTM 在高复杂度序列上优于 GRU。
• 增加深度通常会增加训练时间，而在记忆准确性上没有明显提升。
• 在高复杂度序列上，LSTMs 的训练速度快于 GRUs；在低复杂度序列上，GRUs 的训练速度更快。
• 两种架构整体上都实现了较高的准确性，但随着序列复杂度的变化，性能差异逐渐显现。