[论文解读] MomentumRNN: Integrating Momentum into Recurrent Neural Networks

Tan M. Nguyen, Richard G. Baraniuk+3 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 56被引用 6

一句话总结

该论文提出MomentumRNN，一种新颖的循环神经网络架构，通过将隐藏状态更新过程建模为带动量的梯度下降步骤，将动量整合到隐藏状态更新中。该方法在多个基准测试（包括MNIST、TIMIT和PMNIST）中显著加速了训练过程，提升了测试准确率，并缓解了梯度消失问题，与标准RNN和LSTM相比，准确率最高提升0.28%，收敛速度最快提升30%。

ABSTRACT

Designing deep neural networks is an art that often involves an expensive search over candidate architectures. To overcome this for recurrent neural nets (RNNs), we establish a connection between the hidden state dynamics in an RNN and gradient descent (GD). We then integrate momentum into this framework and propose a new family of RNNs, called {\em MomentumRNNs}. We theoretically prove and numerically demonstrate that MomentumRNNs alleviate the vanishing gradient issue in training RNNs. We study the momentum long-short term memory (MomentumLSTM) and verify its advantages in convergence speed and accuracy over its LSTM counterpart across a variety of benchmarks. We also demonstrate that MomentumRNN is applicable to many types of recurrent cells, including those in the state-of-the-art orthogonal RNNs. Finally, we show that other advanced momentum-based optimization methods, such as Adam and Nesterov accelerated gradients with a restart, can be easily incorporated into the MomentumRNN framework for designing new recurrent cells with even better performance. The code is available at https://github.com/minhtannguyen/MomentumRNN.

研究动机与目标

• 为解决RNN架构搜索的高成本与低效性，提出一种原理性设计框架。
• 克服RNN训练中的梯度消失问题，该问题阻碍了长期依赖关系的学习。
• 在不从零开始修改网络架构的前提下，提升RNN的训练速度与泛化性能。
• 将基于动量的优化方法推广至循环单元设计，实现对各类RNN变体的广泛适用性。
• 基于动力系统理论，为RNN中动量整合提供理论保证。

提出的方法

• 该论文建立了RNN中隐藏状态动态与梯度下降之间的联系，将每个隐藏状态更新建模为一个梯度下降步骤。
• 提出一种基于动量的隐藏状态更新规则，受Nesterov加速梯度启发，以加速收敛。
• 将该框架形式化为一个动量单元，用包含速度和动量参数的动量增强版本替代标准RNN的更新规则。
• 通过将更新机制替换为基于动量的等效形式，将该方法扩展至各种RNN单元，包括LSTM、GRU和正交RNN。
• 将Adam和带重启的Nesterov等先进优化方法集成到MomentumRNN框架中，以进一步提升性能。
• 通过动量加速的动力系统理论分析，证明了其收敛性与稳定性得到改善。

实验结果

研究问题

• RQ1 能否系统性地将动量整合到循环神经网络架构中，以改善训练动态？
• RQ2 RNN中动量的整合是否能缓解梯度消失问题并提升收敛速度？
• RQ3 所提出的MomentumRNN框架是否可普遍应用于包括LSTM、GRU和正交RNN在内的多种RNN架构？
• RQ4 在序列建模基准测试中，MomentumRNN与标准RNN和LSTM相比，在测试准确率和训练效率方面表现如何？
• RQ5 像Adam和带重启的Nesterov这类先进动量优化技术能否自然地集成到MomentumRNN框架中？

主要发现

• 在PMNIST上，MomentumLSTM达到95.37%的测试准确率，优于基线DTRIV的0.16%和LSTM的0.08%。
• 在TIMIT任务中，MomentumDTRIV的测试MSE为1.17±0.05（322个隐藏单元），显著优于DTRIV的1.87±0.17。
• MomentumLSTM在PMNIST上以551分钟达到92.29%的测试准确率，而标准LSTM耗时767分钟，训练时间减少28%。
• 消融研究证实，最优动量与学习率组合显著提升了模型性能，图7中的绿色单元表明结果更优。
• MomentumRNN展现出更快的收敛速度和更少的过拟合现象，PMNIST和TIMIT任务的训练与测试损失曲线均验证了这一点。
• 该框架成功应用于最先进的正交RNN，证实其在不同RNN架构中的广泛适用性。