[论文解读] Depth-Gated Recurrent Neural Networks

Kaisheng Yao, Trevor Cohn+3 more|arXiv (Cornell University)|Aug 16, 2015

Natural Language Processing Techniques参考文献 7被引用 63

一句话总结

本文提出深度门控循环神经网络（DGRNNs），这是LSTM的一种扩展，通过引入一个深度门来建模相邻层记忆单元之间的线性依赖关系。该深度门是下层记忆、输入和隐藏状态的可学习函数，能够提升序列建模性能，在机器翻译和语言建模任务中达到最先进水平。

ABSTRACT

In this short note, we present an extension of long short-term memory (LSTM) neural networks to using a depth gate to connect memory cells of adjacent layers. Doing so introduces a linear dependence between lower and upper layer recurrent units. Importantly, the linear dependence is gated through a gating function, which we call depth gate. This gate is a function of the lower layer memory cell, the input to and the past memory cell of this layer. We conducted experiments and verified that this new architecture of LSTMs was able to improve machine translation and language modeling performances.

研究动机与目标

• 通过在相邻层的循环单元之间引入层间依赖关系，提升长短期记忆网络性能。
• 解决标准LSTM独立处理各层所带来的局限性，避免遗漏层次化序列表征。
• 设计一种可学习的门控机制——称为深度门，以控制跨层的信息流动。
• 在序列建模基准任务上，通过实验验证所提出架构的有效性，尤其聚焦于机器翻译与语言建模任务。

提出的方法

• 引入一个深度门，通过计算下层记忆单元、输入和隐藏状态的线性组合，作为影响上层记忆单元的信号。
• 修改标准LSTM单元的更新机制，将深度门作为层间信息路由信号。
• 将深度门定义为可微函数，支持通过时间反向传播进行端到端训练。
• 在保留核心LSTM组件（输入门、遗忘门、输出门）的基础上，通过深度门引入层间连接。
• 使用标准的序列到序列和语言建模目标，结合基于梯度的优化方法进行模型训练。

实验结果

研究问题

• RQ1 引入可学习的层间门是否能提升序列建模任务的性能？
• RQ2 在相邻LSTM层的记忆单元之间建模线性依赖关系，是否能增强表征学习能力？
• RQ3 深度门对机器翻译与语言建模任务中的训练稳定性与收敛性有何影响？
• RQ4 在基准序列任务上，所提出的架构是否比标准堆叠LSTM更具有效性？

主要发现

• 所提出的深度门控RNN架构在机器翻译任务中相比标准堆叠LSTM取得了更优性能。
• 该模型在语言建模任务中表现出更高的准确率，表明其具备更强的序列表征学习能力。
• 深度门机制成功实现了对层间信息流动的可控调控，提升了模型的表达能力。
• 实验结果证实该架构可训练且有效，在下游序列建模任务中取得了可测量的性能提升。