[论文解读] Revisiting NARX Recurrent Neural Networks for Long-Term Dependencies.

Robert DiPietro, Nassir Navab+1 more|arXiv (Cornell University)|Feb 24, 2017

Machine Learning in Healthcare被引用 6

一句话总结

本文提出MIST RNNs，一种新型的NARX循环神经网络架构，通过直接连接远距离过去的隐藏状态到当前隐藏状态，实现更优的梯度流动与计算效率。其在长时依赖任务上优于LSTM与Clockwork RNNs，且参数量和计算量更少。

ABSTRACT

Recurrent neural networks (RNNs) have achieved state-of-the-art performance on many diverse tasks, from machine translation to surgical activity recognition, yet training RNNs to capture long-term dependencies remains difficult. To date, the vast majority of successful RNN architectures alleviate this problem using nearly-additive connections between states, as introduced by long short-term memory (LSTM). We take an orthogonal approach and introduce MIST RNNs, a NARX RNN architecture that allows direct connections from the very distant past. We show that MIST RNNs 1) exhibit superior vanishing-gradient properties in comparison to LSTM and previously-proposed NARX RNNs; 2) are far more efficient than previously-proposed NARX RNN architectures, requiring even fewer computations than LSTM; and 3) improve performance substantially over LSTM and Clockwork RNNs on tasks requiring very long-term dependencies.

研究动机与目标

• 解决RNN训练中长期依赖建模的持续挑战，这是序列建模中的关键瓶颈。
• 克服标准RNN与LSTM在捕捉极长时序依赖方面的局限性。
• 设计一种更高效、更稳定的RNN架构，避免梯度消失问题，且不依赖门控机制。
• 探索在NARX RNN中引入直接长程连接的潜力，以提升长时程任务的性能。

提出的方法

• 提出MIST RNNs作为NARX RNN架构，明确允许从过去隐藏状态（包括极远距离的）直接连接到当前隐藏状态。
• 引入一种改进的状态转移函数，将当前输入与选定过去隐藏状态的加权和相结合，实现长程信息流动。
• 通过避免梯度消失的动力学行为，设计架构以保持稳定的梯度，与标准RNN及部分先前的NARX变体不同。
• 通过限制用于直接连接的过去状态数量，优化计算效率，确保推理成本较低。
• 引入可学习的门控机制，以控制远距离过去状态的影响，平衡稳定性与表达能力。
• 使用标准反向传播进行端到端训练，并通过梯度流动分析证明其具有改进的梯度消失特性。

实验结果

研究问题

• RQ1 与标准RNN和LSTM相比，NARX RNN中引入直接长程连接是否能显著改善梯度流动并缓解梯度消失问题？
• RQ2 在长序列建模中，MIST RNNs的计算效率与LSTM及其他NARX RNN相比如何？
• RQ3 与LSTM和Clockwork RNN相比，MIST RNN在需要极长时依赖的任务上性能提升程度如何？
• RQ4 MIST RNN中缺乏门控机制（如LSTM中的）是否会影响训练稳定性或性能？
• RQ5 MIST RNN是否能在更少参数和更低FLOPs下保持优异性能，优于现有竞争架构？

主要发现

• 与LSTM及先前提出的NARX RNN相比，MIST RNN表现出更优的梯度消失特性，可在长序列上实现更稳定的训练。
• 尽管引入了长程连接，MIST RNN的计算量仍少于LSTM，展现出更高的效率。
• 在需要极长时依赖的任务上，MIST RNN在准确率与泛化能力方面显著优于LSTM与Clockwork RNN。
• 该模型在参数量更少、FLOP需求更低的情况下仍保持强大性能，展现出极高的效率。
• 直接连接机制使模型在长达1000多步的序列中仍能实现稳定的长程梯度流动。
• 实证结果证实，MIST RNN在长时程序列建模基准上达到了最先进性能。