[论文解读] Early Improving Recurrent Elastic Highway Network

Hyunsin Park, Chang D. Yoo|arXiv (Cornell University)|Aug 14, 2017

Time Series Analysis and Forecasting参考文献 17被引用 4

一句话总结

本文提出了一种新型RNN架构——早期改进循环弹性高速公路网络（EI-REHN），通过使用修正的指数递减门控函数，根据输入动态调整循环深度，实现早期性能提升与自适应计算。该模型在循环高速公路网络（RHN）基础上，通过每层动态更新权重矩阵，显著降低了参数增长并提升了效率，在序列建模任务中实现了最先进性能。

ABSTRACT

To model time-varying nonlinear temporal dynamics in sequential data, a recurrent network capable of varying and adjusting the recurrence depth between input intervals is examined. The recurrence depth is extended by several intermediate hidden state units, and the weight parameters involved in determining these units are dynamically calculated. The motivation behind the paper lies on overcoming a deficiency in Recurrent Highway Networks and improving their performances which are currently at the forefront of RNNs: 1) Determining the appropriate number of recurrent depth in RHN for different tasks is a huge burden and just setting it to a large number is computationally wasteful with possible repercussion in terms of performance degradation and high latency. Expanding on the idea of adaptive computation time (ACT), with the use of an elastic gate in the form of a rectified exponentially decreasing function taking on as arguments as previous hidden state and input, the proposed model is able to evaluate the appropriate recurrent depth for each input. The rectified gating function enables the most significant intermediate hidden state updates to come early such that significant performance gain is achieved early. 2) Updating the weights from that of previous intermediate layer offers a richer representation than the use of shared weights across all intermediate recurrence layers. The weight update procedure is just an expansion of the idea underlying hypernetworks. To substantiate the effectiveness of the proposed network, we conducted three experiments: regression on synthetic data, human activity recognition, and language modeling on the Penn Treebank dataset. The proposed networks showed better performance than other state-of-the-art recurrent networks in all three experiments.

研究动机与目标

• 解决固定深度循环高速公路网络（RHN）在建模时变时间动态时效率低下与性能下降的问题。
• 减少因对所有输入设置大而固定的循环深度所导致的计算浪费与延迟。
• 通过优先处理早期循环步骤中的显著隐藏状态更新，实现在计算初期即获得显著性能提升。
• 通过在中间层动态更新权重矩阵而非在各层间共享权重，提升表征能力。
• 在多样化的序列建模任务中验证所提架构的有效性。

提出的方法

• 提出一种基于前一隐藏状态与输入的修正指数递减函数的弹性门控机制，用于确定每个输入应执行的中间循环步数。
• 采用一种优先处理早期隐藏状态更新的门控机制，确保显著性能增益在计算初期即发生。
• 采用类似超网络的结构，为每个中间循环层动态生成权重矩阵，提升表征学习能力。
• 应用门控函数控制循环步数，实现每输入可变的深度，同时保持残差学习的稳定性。
• 将EI-REHN单元作为RHN单元的替代，时间步之间共享超网络参数，但各层使用动态生成的特定权重。
• 使用标准反向传播算法，结合交叉熵损失与Adam优化器进行训练，所有实验保持一致的隐藏状态维度。

实验结果

研究问题

• RQ1 循环网络能否根据输入动态调整其循环深度，以提升效率与性能？
• RQ2 修正的指数递减门控函数是否能在序列建模中实现更早且更有效的性能增益？
• RQ3 在中间层使用动态权重矩阵是否能超越RHN中共享权重的表征学习能力？
• RQ4 在多样化的序列任务中，EI-REHN在准确率与困惑度方面与RHN及其他SOTA模型相比表现如何？
• RQ5 随着循环深度增加，所提架构是否能在保持或提升性能的同时减少参数增长？

主要发现

• 在Penn Treebank语言建模任务中，EI-REHN在最大循环深度为4时达到66.2的测试困惑度，优于RHN（10步循环，66.0困惑度），且参数更少，与最佳报告结果持平。
• EI-REHN在2500万参数下达到70.0的验证困惑度，优于RHN（2400万参数，68.1困惑度），并超越LSTM与集成模型。
• 在人体活动识别任务中，EI-REHN分类准确率优于RHN及其他SOTA模型，表明其在序列表征学习方面具有优势。
• 在合成回归任务中，EI-REHN有效捕捉了时变非线性动态，证实其对复杂时间模式的适应能力。
• EI-REHN的参数量在循环深度2–5之间几乎保持恒定（2530万），而RHN的参数量从2070万增至2930万，表明其具有更优的参数效率。
• 即使在较低循环深度下，EI-REHN的性能也优于RHN，表明早期且自适应的计算可带来更高效的表征学习。