[论文解读] Fusion Recurrent Neural Network

Yiwen Sun, Yulu Wang+4 more|arXiv (Cornell University)|Jun 7, 2020

Traffic Prediction and Management Techniques参考文献 47被引用 4

一句话总结

本文提出Fusion循环神经网络（Fusion RNN），一种简化版RNN架构，用Fusion模块替代传统门控机制与记忆单元，实现多轮输入-隐藏状态交互，并通过Transport模块实现状态传播。在大规模真实世界出租车轨迹数据集上，Fusion RNN在行程预估时间（ETA）预测任务中达到最先进性能，优于LSTM与GRU，且结构更简单。

ABSTRACT

Considering deep sequence learning for practical application, two representative RNNs - LSTM and GRU may come to mind first. Nevertheless, is there no chance for other RNNs? Will there be a better RNN in the future? In this work, we propose a novel, succinct and promising RNN - Fusion Recurrent Neural Network (Fusion RNN). Fusion RNN is composed of Fusion module and Transport module every time step. Fusion module realizes the multi-round fusion of the input and hidden state vector. Transport module which mainly refers to simple recurrent network calculate the hidden state and prepare to pass it to the next time step. Furthermore, in order to evaluate Fusion RNN's sequence feature extraction capability, we choose a representative data mining task for sequence data, estimated time of arrival (ETA) and present a novel model based on Fusion RNN. We contrast our method and other variants of RNN for ETA under massive vehicle travel data from DiDi Chuxing. The results demonstrate that for ETA, Fusion RNN is comparable to state-of-the-art LSTM and GRU which are more complicated than Fusion RNN.

研究动机与目标

• 开发一种结构更简单但依然有效的RNN架构，避免LSTM与GRU中复杂的门控机制与记忆单元。
• 评估所提模型在真实世界大规模时空数据挖掘任务中的序列特征提取能力。
• 证明一种极简的非门控RNN架构可在实际应用中与最先进RNN变体性能相当。
• 探究融合迭代次数对模型性能与鲁棒性的影响。

提出的方法

• Fusion RNN由两个核心模块构成：Fusion模块，用于实现输入与隐藏状态向量的多轮交互；Transport模块，用于将更新后的隐藏状态传递至下一时间步。
• Fusion模块对输入与隐藏状态拼接后的结果应用可学习变换，随后进行非线性激活，重复r轮以优化隐藏表示。
• Transport模块采用无门控的简单循环结构，确保参数量最少且计算成本最低。
• 模型在来自滴滴出行5亿+轨迹数据集的大规模ETA预测任务上，采用Adam优化器与MAPE损失函数进行端到端训练。
• 核心序列特征提取器为模块化设计，可与任意RNN架构互换，以实现公平比较，从而评估Fusion RNN的内在能力。
• 对融合迭代次数（r ∈ [1,5]）进行超参数分析，以研究其对性能与鲁棒性的影响。

实验结果

研究问题

• RQ1 无门控与无记忆单元的循环神经网络是否能在序列建模中实现有竞争力的性能？
• RQ2 输入与隐藏状态的多轮融合相比门控机制，如何提升序列表征能力？
• RQ3 在真实世界时空数据中，实现有效序列学习的最优融合迭代次数是多少？
• RQ4 在实际序列预测任务中，更简单的RNN架构是否能超越复杂度较高的最先进模型（如LSTM与GRU）？

主要发现

• 在2018年北京数据集上，Fusion RNN的MAPE为19.579%，优于LSTM（19.598%）与GRU（19.673%），在MAPE、MAE与RMSE指标上均表现更优。
• 与LSTM相比，Fusion RNN在MAPE上提升0.09%，在MAE上提升0.38%，在RMSE上提升0.21%，表明其以更简单架构实现了更高的预测精度。
• 当r=2时，Fusion RNN达到最佳性能，表明两轮融合在复杂度与表征能力之间实现了最优平衡。
• Fusion RNN在r=1至r=5的所有取值下均保持优异性能，展现出对超参数变化的强鲁棒性。
• 模型优于非深度学习基线方法（如route-ETA），证实了在复杂交通系统中数据驱动学习的有效性。
• 结果验证了无需显式门控机制即可实现高效信息融合，挑战了RNN中门控机制的必要性。