[论文解读] Improving the Gating Mechanism of Recurrent Neural Networks

Albert Gu, Çaǧlar Gülçehre+3 more|arXiv (Cornell University)|Oct 22, 2019

Neural Networks and Applications参考文献 47被引用 30

一句话总结

本文提出UR门控机制——包含一个精炼门和均匀门初始化——以改善循环神经网络中的梯度流动，特别是在门饱和的区域。该方法增强了长期依赖关系的学习能力，在合成记忆任务、序列图像分类、语言建模和强化学习中表现优于标准LSTM，尤其在长时域设置下表现更优。

ABSTRACT

Gating mechanisms are widely used in neural network models, where they allow gradients to backpropagate more easily through depth or time. However, their saturation property introduces problems of its own. For example, in recurrent models these gates need to have outputs near 1 to propagate information over long time-delays, which requires them to operate in their saturation regime and hinders gradient-based learning of the gate mechanism. We address this problem by deriving two synergistic modifications to the standard gating mechanism that are easy to implement, introduce no additional hyperparameters, and improve learnability of the gates when they are close to saturation. We show how these changes are related to and improve on alternative recently proposed gating mechanisms such as chrono initialization and Ordered Neurons. Empirically, our simple gating mechanisms robustly improve the performance of recurrent models on a range of applications, including synthetic memorization tasks, sequential image classification, language modeling, and reinforcement learning, particularly when long-term dependencies are involved.

研究动机与目标

• 解决当门控处于饱和状态时，循环网络中梯度消失的问题，此时梯度会消失并阻碍学习。
• 克服标准门初始化的局限性，后者限制了模型最初可处理的时间尺度范围。
• 在不增加超参数、参数或计算开销的前提下，提升门控在长期依赖任务中的可学习性。
• 开发一种简单、模块化的门控机制，可应用于任意门控RNN，包括LSTM和GRU。
• 在多种基准测试中展示稳健的性能提升，尤其是在需要长期记忆和层次结构建模的任务中。

提出的方法

• 引入一个精炼门机制，通过调节主门来实现即使在主门饱和时也能保持更稳定的梯度。
• 使用可学习的辅助精炼门来控制主门的有效输出，从而将梯度流动与主门的饱和状态解耦。
• 提出均匀门初始化（UGI），将门激活初始化为[0,1]区间上的均匀分布，以增加初始时间尺度的多样性。
• 将精炼门与UGI结合，形成兼容标准RNN且无需额外超参数的UR门控机制。
• 将UR机制应用于LSTM的遗忘门和输入门，保持与标准LSTM相同的计算和内存开销。
• 设计方法时注重模块化与可互换性，允许用类似替代方案（如其他门类型或初始化策略）替换组件。

实验结果

研究问题

• RQ1 是否可以通过精炼门控机制在不增加模型复杂度的前提下，改善饱和区域的梯度流动？
• RQ2 门激活的均匀初始化是否能提升模型从初始化起学习多样化时间依赖关系的能力？
• RQ3 UR门控机制与现有方法（如chrono初始化和Ordered Neurons）相比，在处理长期依赖关系方面表现如何？
• RQ4 UR机制带来的性能提升在不同架构（如LSTM、RMC）和任务（如语言建模、强化学习）之间具有多大程度的泛化能力？
• RQ5 UR机制是否可普遍应用于门控RNN，而不会引入额外的超参数或计算成本？

主要发现

• UR-LSTM能够解决标准LSTM无法处理的合成记忆任务，证明其在长期记忆保持方面具有显著优势。
• 在序列MNIST和CIFAR-10任务上，UR-LSTM实现了最先进性能，优于标准LSTM和先前基线模型。
• 在WikiText-103语言建模任务中，UR-LSTM持续优于标准LSTM，尤其在处理长距离依赖方面表现突出。
• 在主动匹配等强化学习任务中，当存在大量干扰奖励时，UR-LSTM和UR-DNC模型是唯一能超越随机猜测的模型，表明其在长时域决策中的鲁棒性。
• UR机制在其他循环核心上也表现出良好的泛化能力：UR-RMC在Learning to Execute基准的Control和Program任务中优于标准RMC，尤其在层次化和长序列设置下表现更优。
• 精炼门机制使UR-LSTM中最小遗忘单元的时间尺度比标准LSTM小一个数量级以上，表明对时间动态的控制能力更强。