[论文解读] Interpretable Crowd Flow Prediction with Spatial-Temporal Self-Attention

Haoxing Lin, Weijia Jia+2 more|arXiv (Cornell University)|Feb 22, 2020

Traffic Prediction and Management Techniques参考文献 24被引用 6

一句话总结

该论文提出STSAN，一种空间-时间自注意力网络，通过ST编码门和多方面注意力机制，对人群流量预测中的完整时空依赖关系进行建模，在Taxi-NYC数据集上，与SOTA基线相比，流入和流出预测的RMSE分别降低了16%和8%，并通过显式注意力权重实现了模型可解释性。

ABSTRACT

Crowd flow prediction has been increasingly investigated in intelligent urban computing field as a fundamental component of urban management system. The most challenging part of predicting crowd flow is to measure the complicated spatial-temporal dependencies. A prevalent solution employed in current methods is to divide and conquer the spatial and temporal information by various architectures (e.g., CNN/GCN, LSTM). However, this strategy has two disadvantages: (1) the sophisticated dependencies are also divided and therefore partially isolated; (2) the spatial-temporal features are transformed into latent representations when passing through different architectures, making it hard to interpret the predicted crowd flow. To address these issues, we propose a Spatial-Temporal Self-Attention Network (STSAN) with an ST encoding gate that calculates the entire spatial-temporal representation with positional and time encodings and therefore avoids dividing the dependencies. Furthermore, we develop a Multi-aspect attention mechanism that applies scaled dot-product attention over spatial-temporal information and measures the attention weights that explicitly indicate the dependencies. Experimental results on traffic and mobile data demonstrate that the proposed method reduces inflow and outflow RMSE by 16% and 8% on the Taxi-NYC dataset compared to the SOTA baselines.

研究动机与目标

• 为解决现有分而治之的深度学习方法在人群流量预测中的局限性，这些方法会割裂时空依赖关系并降低可解释性。
• 通过使用位置编码和时间编码将整个输入统一表示在单一特征空间中，以保留复杂的时空依赖关系。
• 通过显式提取注意力权重，指示哪些历史时空位置对预测影响最大，从而实现模型可解释性。
• 通过在完整时空表示上应用缩放点积注意力，而不进行网络架构上的分割，从而提升预测准确率和效率。

提出的方法

• 引入ST编码门，将空间和时间的位置编码与时间编码相结合，将整个时空输入统一表示在单一特征空间中。
• 提出多方面注意力机制，同时在空间和时间维度上应用缩放点积注意力，每个空间位置配备专用注意力头。
• 采用双流架构：Stream-T通过多头自注意力机制处理时间依赖关系，而Stream-F通过转移矩阵学习空间转换。
• 使用周期性移位方法，从过去7天中相同时间点选取历史观测数据，通过上下文感知的输入选择增强时间建模。
• 通过局部输入定制，将空间区域限制在目标区域周围的B×B块内，以减少噪声并提高效率。
• 采用Adam优化器，配合学习率预热策略，并应用dropout（丢弃率0.1）进行正则化，使用8块GPU训练，批量大小为1024。

实验结果

研究问题

• RQ1 是否能够通过统一的注意力机制，在不将空间和时间处理分离的情况下，有效建模人群流量预测中的完整时空依赖关系？
• RQ2 在统一表示中引入位置编码和时间编码，与分离的空间-时间建模相比，是否能显著提升预测准确率？
• RQ3 所提出的机制中提取的注意力权重在多大程度上可用于解释人群流量预测，并识别关键的历史影响因素？
• RQ4 所提出的STSAN模型在真实世界人群流量数据集上，是否在准确率和可解释性两方面均优于现有SOTA方法？

主要发现

• 在Taxi-NYC数据集上，STSAN相比表现最佳的SOTA基线，将流入RMSE降低了16%，流出RMSE降低了8%。
• 与不使用ST编码门的消融变体相比，ST编码门显著提升了性能，证明了统一时空表示的重要性。
• 多方面注意力机制支持显式注意力权重提取，可视觉化突出显示相关的历史时间点和空间区域。
• 注意力权重表明，模型正确识别出最相关的历史时刻——特别是前几日的同一时间点——展示了良好的时间一致性。
• 模型的可解释能力使城市管理者能够追溯预测来源，从而增强信任度并提升实际部署的可行性。
• 局部输入定制相比全局输入输入方式性能更优，有效减少了远距离区域的噪声干扰，同时提升了效率。