[论文解读] Learning Simpler Language Models with the Delta Recurrent Neural Network Framework.

Alexander G. Ororbia, Tomáš Mikolov+1 more|arXiv (Cornell University)|Mar 26, 2017

Topic Modeling参考文献 27被引用 5

一句话总结

Delta-RNN框架提出了一种简单且参数高效的循环神经网络架构，通过在快速数据驱动表示与缓慢演变的稳定状态之间插值，增强了长期记忆能力。该框架在字符级和词级语言建模任务中表现优于LSTM和GRU等复杂模型，同时参数量更少。

ABSTRACT

Learning useful information across long time lags is a critical and difficult problem for temporal neural models in tasks like language modeling. Existing architectures that address the issue are often complex and costly to train. The Delta Recurrent Neural Network (Delta-RNN) framework is a simple and high-performing design that unifies previously proposed gated neural models. The Delta-RNN models maintain longer-term memory by learning to interpolate between a fast-changing data-driven representation and a slowly changing, implicitly stable state. This requires hardly any more parameters than a classical simple recurrent network. The models outperform popular complex architectures, such as the Long Short Term Memory (LSTM) and the Gated Recurrent Unit (GRU) and achieve state-of-the art performance in language modeling at character and word levels and yield comparable performance at the subword level.

研究动机与目标

• 解决在序列数据中长期时间延迟下学习有用信息的挑战。
• 降低LSTM和GRU等现有门控循环架构的复杂度和训练成本。
• 在使用比标准循环网络更少参数的前提下，保持强大的语言建模性能。
• 将先前的门控模型统一于单一、更简单的框架下，从而提升训练效率与泛化能力。

提出的方法

• 引入一种循环网络，维护两种隐藏状态：快速变化的数据驱动表示和缓慢变化的稳定状态。
• 使用可学习的插值机制，在每个时间步动态平衡快速状态与慢速状态的影响。
• 将隐藏状态更新公式化为基于差值的更新：h_t = h_{t-1} + Δh_t，其中Δh_t是前一状态的可学习修正项。
• 使用标准反向传播进行端到端训练，与标准RNN相比，架构开销极小。
• 通过特定的参数化方式，将现有门控模型（如LSTM、GRU）统一为Delta-RNN框架的特例。
• 将该框架应用于字符级、词级和子词级语言建模任务，以评估其泛化能力与性能表现。

实验结果

研究问题

• RQ1 更简单的循环架构是否能在语言建模任务中实现与LSTM和GRU等复杂门控模型相当或更优的性能？
• RQ2 基于差值的更新机制在参数增加极少的情况下，能否有效维持长期依赖关系？
• RQ3 在快速与慢速隐藏状态之间进行插值，在多大程度上能提升长序列中的记忆保持能力？
• RQ4 Delta-RNN框架是否能在无需架构修改的情况下，泛化应用于不同语言建模层级（字符、词、子词）？
• RQ5 该框架是否能将现有门控模型统一于单一、更具可解释性与高效性的架构之下？

主要发现

• 在字符级语言建模中，Delta-RNN以远少于LSTM和GRU的参数量，实现了最先进性能。
• 在词级任务中，该模型优于LSTM和GRU，展现出更强的泛化能力与长上下文学习能力。
• 在子词级任务中，模型性能与最先进模型相当，表明其在不同分词方案下具有强大的泛化能力。
• 尽管结构简单，Delta-RNN通过学习在快速与慢速状态表示之间插值，仍能有效维持长期记忆。
• 该框架所需的参数量几乎与标准简单循环网络相当，使其在训练与推理中均具有极高效率。
• 该架构统一了先前提出的各类门控模型，提示我们对门控循环机制有更系统化、更统一的理解。