[论文解读] Higher Order Recurrent Neural Networks

Rohollah Soltani, Hui Jiang|arXiv (Cornell University)|Apr 30, 2016

Neural Networks and Applications被引用 2

一句话总结

本文提出了一种新型的循环神经网络架构——高阶循环神经网络（HORNNs），通过引入具有不同权重的多条循环反馈路径，增强了长期依赖关系的学习能力，从而改善了短期记忆。在Penn Treebank和text8数据集上的实验表明，HORNNs达到了当前最优的性能，显著优于标准RNN和LSTM。

ABSTRACT

In this paper, we study novel neural network structures to better model long term dependency in sequential data. We propose to use more memory units to keep track of more preceding states in recurrent neural networks (RNNs), which are all recurrently fed to the hidden layers as feedback through different weighted paths. By extending the popular recurrent structure in RNNs, we provide the models with better short-term memory mechanism to learn long term dependency in sequences. Analogous to digital filters in signal processing, we call these structures as higher order RNNs (HORNNs). Similar to RNNs, HORNNs can also be learned using the back-propagation through time method. HORNNs are generally applicable to a variety of sequence modelling tasks. In this work, we have examined HORNNs for the language modeling task using two popular data sets, namely the Penn Treebank (PTB) and English text8 data sets. Experimental results have shown that the proposed HORNNs yield the state-of-the-art performance on both data sets, significantly outperforming the regular RNNs as well as the popular LSTMs.

研究动机与目标

• 为解决标准RNN在捕捉序列数据中长期依赖关系方面的局限性。
• 改进循环网络中的短期记忆机制，以提升序列建模性能。
• 开发一种可泛化的架构，扩展标准RNN，且不依赖复杂的门控机制。
• 在标准语言建模基准上评估所提出模型，以证明其性能提升。

提出的方法

• HORNNs通过引入多个存储并循环反馈不同先前隐藏状态的记忆单元，扩展了标准RNN。
• 每个先前状态通过独立加权路径反馈，模拟了信号处理中数字滤波器的行为。
• 该架构保持与时间反向传播（BPTT）的兼容性，支持端到端训练。
• 反馈路径在训练过程中学习，使网络能够动态加权来自不同过去状态的贡献。
• 该模型设计为通用架构，适用于多种序列建模任务。
• 其结构受到高阶滤波器响应的启发，能够生成更丰富的时序表征。

实验结果

研究问题

• RQ1 具有多条循环反馈路径的改进RNN架构是否能提升序列数据中长期依赖关系的学习能力？
• RQ2 HORNN架构在语言建模任务中与标准RNN和LSTM相比表现如何？
• RQ3 多路径反馈机制在多大程度上能够增强循环网络的短期记忆容量？
• RQ4 HORNN设计是否能在不同序列建模基准上实现泛化？

主要发现

• HORNNs在Penn Treebank（PTB）语言建模基准上达到了最先进性能。
• HORNNs在PTB数据集上显著优于标准RNN和LSTM。
• 该模型在英文text8数据集上也取得了优异结果，表明其在不同序列长度下具有强大的泛化能力。
• 性能提升归因于通过多条加权反馈路径实现的增强型短期记忆机制。
• HORNN架构与标准训练方法（如BPTT）保持兼容，确保了实际可用性。
• 结果证实，通过改进反馈结构的架构增强，可超越更复杂的门控机制（如LSTM）的性能。