[论文解读] FMA-ETA: Estimating Travel Time Entirely Based on FFN With Attention

Yiwen Sun, Yulu Wang+5 more|arXiv (Cornell University)|Jun 7, 2020

Traffic Prediction and Management Techniques参考文献 27被引用 4

一句话总结

FMA-ETA 提出了一种新颖的、完全基于前馈网络（FFN）的框架，采用多因素自注意力机制进行行程时间预测，在保持最先进精度的同时，显著优于基于 RNN 的模型（如 WDR），在推理速度上表现突出。该方法通过有效建模多因素序列依赖关系而无需循环结构，实现了快速、精准的实时 ETA 预测。

ABSTRACT

Estimated time of arrival (ETA) is one of the most important services in intelligent transportation systems and becomes a challenging spatial-temporal (ST) data mining task in recent years. Nowadays, deep learning based methods, specifically recurrent neural networks (RNN) based ones are adapted to model the ST patterns from massive data for ETA and become the state-of-the-art. However, RNN is suffering from slow training and inference speed, as its structure is unfriendly to parallel computing. To solve this problem, we propose a novel, brief and effective framework mainly based on feed-forward network (FFN) for ETA, FFN with Multi-factor self-Attention (FMA-ETA). The novel Multi-factor self-attention mechanism is proposed to deal with different category features and aggregate the information purposefully. Extensive experimental results on the real-world vehicle travel dataset show FMA-ETA is competitive with state-of-the-art methods in terms of the prediction accuracy with significantly better inference speed.

研究动机与目标

• 为解决基于 RNN 的模型在实时行程时间预测中推理速度缓慢的问题，特别是在大规模网约车平台中的应用。
• 探究仅使用前馈网络（FFN）架构是否能有效捕捉序列行程数据中的复杂时空依赖关系，而无需引入循环结构。
• 设计一种专为 ETA 任务中多因素序列输入量身定制的新注意力机制，以超越自然语言处理中常用的多头注意力机制。
• 在显著提升推理速度的同时，实现与最先进 RNN 基础方法相当的预测精度。
• 在来自主要网约车平台的超过 5 亿条轨迹的真实大规模数据集上验证该框架。

提出的方法

• 提出 FMA-ETA，一种完全基于前馈网络（FFN）而非 LSTM 等循环结构的深度学习 ETA 框架。
• 引入一种新颖的多因素自注意力机制，可分别关注不同类型输入特征（如时间、位置、交通状况），以更好地建模异质依赖关系。
• 采用可学习的位置编码来在 FFN 架构中保留序列顺序，以并行化的注意力计算替代循环结构。
• 使用多尺度前馈块结合残差连接，以增强表征能力，同时保持训练稳定性。
• 采用多任务学习目标，联合预测行程时间和相关路线特征，以提升泛化能力和鲁棒性。
• 使用标准优化技术，在来自主要网约车平台的大规模真实轨迹数据集上端到端训练模型。

实验结果

研究问题

• RQ1 仅使用前馈网络架构是否能与最先进 RNN 基础模型在行程时间预测精度上达到相当水平？
• RQ2 为 ETA 任务定制的多因素自注意力机制是否在建模复杂、多维度的序列依赖关系方面优于标准多头注意力机制？
• RQ3 基于 FFN 的模型是否能在不损失预测精度的前提下，实现显著快于 RNN 基础模型的推理速度？
• RQ4 该框架在不同序列长度下（尤其是真实网约车数据中常见的长序列）的表现如何？
• RQ5 多因素自注意力机制是否可泛化至受多种异质因素影响的其他序列学习任务？

主要发现

• FMA-ETA 在预测精度上与最先进 RNN 基础模型 WDR 相当，且在 MAE 和 MAPE 指标上表现略优。
• FMA-ETA 在推理速度上显著优于 WDR，尤其在长序列情况下优势明显，当序列长度超过 180 个时间步时表现更佳。
• 所提出的多因素自注意力机制在行程时间预测场景下，性能优于标准多头注意力机制。
• 模型在多种道路类型和交通条件下均保持高精度，该结论已在包含超过 5 亿条轨迹的真实世界数据集上得到验证。
• FMA-ETA 支持更快的实时推理，使其更适合部署于生产级网约车和导航系统。
• 该框架对长距离依赖关系具有鲁棒性，且能随序列长度高效扩展，而 RNN 的推理时间则会迅速增加。