[论文解读] Spatial-Temporal Self-Attention Network for Flow Prediction

Haoxing Lin, Weijia Jia+2 more|arXiv (Cornell University)|Dec 13, 2019

Traffic Prediction and Management Techniques参考文献 19被引用 11

一句话总结

本文提出了一种空间-时间自注意力网络（ST-SAN），通过自注意力机制联合建模空间和时间依赖关系，克服了现有方法在长期依赖建模方面的局限性以及对空间与时间因素独立处理的问题。与最先进方法相比，ST-SAN在Taxi-NYC数据集上的流入预测中RMSE降低9%，在流出预测中降低4%。

ABSTRACT

Flow prediction (e.g., crowd flow, traffic flow) with features of spatial-temporal is increasingly investigated in AI research field. It is very challenging due to the complicated spatial dependencies between different locations and dynamic temporal dependencies among different time intervals. Although measurements of both dependencies are employed, existing methods suffer from the following two problems. First, the temporal dependencies are measured either uniformly or bias against long-term dependencies, which overlooks the distinctive impacts of short-term and long-term temporal dependencies. Second, the existing methods capture spatial and temporal dependencies independently, which wrongly assumes that the correlations between these dependencies are weak and ignores the complicated mutual influences between them. To address these issues, we propose a Spatial-Temporal Self-Attention Network (ST-SAN). As the path-length of attending long-term dependency is shorter in the self-attention mechanism, the vanishing of long-term temporal dependencies is prevented. In addition, since our model relies solely on attention mechanisms, the spatial and temporal dependencies can be simultaneously measured. Experimental results on real-world data demonstrate that, in comparison with state-of-the-art methods, our model reduces the root mean square errors by 9% in inflow prediction and 4% in outflow prediction on Taxi-NYC data, which is very significant compared to the previous improvement.

研究动机与目标

• 解决现有流量预测模型将空间与时间依赖关系独立处理且难以有效建模长期时间依赖关系的局限性。
• 克服循环网络中的梯度消失问题，该问题阻碍了有效学习长期时间依赖关系。
• 开发一种计算高效的深度学习模型用于流量预测，且不依赖循环网络或深层残差卷积结构。
• 通过统一的注意力机制同时捕捉复杂的空间与时间相关性，实现动态、上下文感知的交互。
• 在真实世界大规模流量预测数据集上实证验证所提出ST-SAN模型的有效性。

提出的方法

• ST-SAN模型采用空间-时间自注意力机制，使查询能够通过共享的注意力空间同时关注空间位置和时间步长。
• 自注意力机制通过提供等长路径实现对长期依赖关系的建模，防止在RNN中常见的长期时间信号消失问题。
• 模型采用双流架构（ST-SAN-D），对时间流（Stream-T）进行独立训练，以减少歧义并改善节点间的连接建模。
• 空间-时间自注意力机制通过从嵌入的空间和时间特征中提取的查询、键和值计算注意力分数，采用缩放点积注意力：$\text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d}})V$。
• 该模型避免使用循环结构和深层残差结构，仅依赖注意力机制以实现更高的效率并更好地整合空间与时间动态。
• 一种在时间流上进行独立训练的变体（ST-SAN-D IT）通过明确时间连接学习的目标，进一步提升了性能。

实验结果

研究问题

• RQ1 自注意力机制是否能在不出现梯度消失的情况下，有效建模长期和短期时间依赖关系？
• RQ2 通过统一的注意力机制联合建模空间与时间依赖关系，是否能相比独立建模方式提升流量预测的准确性？
• RQ3 一种不使用循环网络或深层残差卷积网络的深度学习模型，是否能在流量预测任务中实现高性能？
• RQ4 在时间流上进行独立预训练，是否能增强模型学习节点连接能力并提升最终预测性能？
• RQ5 与最先进方法相比，所提出的ST-SAN模型在真实世界流量预测基准上的定量影响如何？

主要发现

• 与最先进方法相比，ST-SAN在Taxi-NYC数据集上的流入预测中RMSE降低9%，在流出预测中降低4%。
• ST-SAN-D变体（采用双流训练并独立预训练时间流）在RMSE和MAE指标上均表现最佳，优于所有其他变体。
• SAN基线模型（仅使用Transformer结构而无空间-时间注意力）表现较差，因其无法有效建模空间依赖关系。
• ST-SAN-S变体（应用空间-时间注意力但缺乏节点间过渡信息）表现欠佳，原因在于影响测量均匀化且缺失动态依赖关系。
• 性能提升在流入预测中最为显著，表明流出预测仍是更具挑战性的任务，需进一步研究。
• 消融实验表明，对时间流进行独立训练（ST-SAN-D IT）通过减少目标函数的歧义，提升了连接建模能力，从而改善了性能。