[论文解读] Depth-Gated LSTM

Kaisheng Yao, Trevor Cohn+3 more|arXiv (Cornell University)|Aug 16, 2015

Natural Language Processing Techniques参考文献 14被引用 36

一句话总结

本文提出深度门控LSTM（Depth-Gated LSTMs），一种通过在相邻层的记忆单元之间引入深度门控连接来增强标准LSTM的架构。该深度门控是下层记忆单元、输入和隐藏状态的可学习函数，为层间引入线性门控连接，从而在机器翻译和语言建模任务中提升性能。

ABSTRACT

In this short note, we present an extension of long short-term memory (LSTM) neural networks to using a depth gate to connect memory cells of adjacent layers. Doing so introduces a linear dependence between lower and upper layer recurrent units. Importantly, the linear dependence is gated through a gating function, which we call depth gate. This gate is a function of the lower layer memory cell, the input to and the past memory cell of this layer. We conducted experiments and verified that this new architecture of LSTMs was able to improve machine translation and language modeling performances.

研究动机与目标

• 提升标准LSTM在机器翻译和语言建模等序列建模任务中的性能。
• 解决深层LSTM架构中层间信息流受限的问题。
• 引入一种新型门控机制——称为深度门控，显式控制记忆信息在层间的传输。
• 通过实证验证，深度门控可提升模型性能，且不会过度增加模型复杂度。

提出的方法

• 深度门控被定义为一个可微函数，其输入为下层的记忆单元、当前层的输入以及该层的前一隐藏状态。
• 深度门控调节下层记忆单元与上层记忆单元之间的线性连接。
• 该门控机制使网络能够学习在何时以及以何种程度将信息从一层的记忆传递到下一层。
• 深度门控LSTM保持标准LSTM单元状态和隐藏状态的计算方式，但将深度门控加入单元状态更新规则。
• 深度门控通过时间反向传播进行端到端训练，与标准LSTM训练方式类似。
• 该架构被应用于机器翻译和语言建模任务，以评估其有效性。

实验结果

研究问题

• RQ1 在相邻LSTM层的记忆单元之间引入可学习门控，是否能提升序列建模性能？
• RQ2 深度门控如何影响深层LSTM网络中层间的信道流动？
• RQ3 深度门控LSTM架构是否在机器翻译和语言建模任务中优于标准深层LSTM？
• RQ4 深度门控的输入组成部分（下层记忆、输入和隐藏状态）对模型性能有何影响？

主要发现

• 与标准深层LSTM网络相比，深度门控LSTM架构在机器翻译任务中实现了性能提升。
• 该模型在语言建模任务中表现出一致的性能增益，表明其对长距离依赖关系的捕捉能力更强。
• 深度门控机制实现了层间更有效的信息传递，增强了深层网络的表征能力。
• 性能提升未伴随模型参数或计算成本的显著增加。