[论文解读] Minimalist Traffic Prediction: Linear Layer Is All You Need

Wenying Duan, Hong Rao+2 more|arXiv (Cornell University)|Aug 20, 2023

Traffic Prediction and Management Techniques被引用 4

一句话总结

该论文提出 STLinear，一种极简主义的交通预测模型，用仅依赖线性层的完全局部化架构替代了复杂的时空图神经网络（STGNNs）。通过整合节点嵌入、时间序列分解和周期性学习，STLinear 在 MACs 和内存使用量方面相比 SOTA 基线模型（如 SSTBAN）实现了超过 95% 的计算复杂度降低，同时达到最先进精度。

ABSTRACT

Traffic prediction is essential for the progression of Intelligent Transportation Systems (ITS) and the vision of smart cities. While Spatial-Temporal Graph Neural Networks (STGNNs) have shown promise in this domain by leveraging Graph Neural Networks (GNNs) integrated with either RNNs or Transformers, they present challenges such as computational complexity, gradient issues, and resource-intensiveness. This paper addresses these challenges, advocating for three main solutions: a node-embedding approach, time series decomposition, and periodicity learning. We introduce STLinear, a minimalist model architecture designed for optimized efficiency and performance. Unlike traditional STGNNs, STlinear operates fully locally, avoiding inter-node data exchanges, and relies exclusively on linear layers, drastically cutting computational demands. Our empirical studies on real-world datasets confirm STLinear's prowess, matching or exceeding the accuracy of leading STGNNs, but with significantly reduced complexity and computation overhead (more than 95% reduction in MACs per epoch compared to state-of-the-art STGNN baseline published in 2023). In summary, STLinear emerges as a potent, efficient alternative to conventional STGNNs, with profound implications for the future of ITS and smart city initiatives.

研究动机与目标

• 解决现有 STGNN 在交通预测中计算复杂度高、资源需求大的问题。
• 降低对 GNN、RNN 和 Transformer 的依赖，这些模型存在梯度问题、内存占用高和可扩展性受限的缺陷。
• 探究仅使用简单线性架构并辅以战略性归纳偏置，是否能够匹配或超越 STGNN 的性能。
• 通过完全局部化设计，实现在通信受限或实时环境中的高效部署。
• 证明极简的架构复杂度不会损害空间-时间交通预测的预测精度。

提出的方法

• STLinear 采用节点嵌入方法，通过共享参数学习每个节点的唯一空间属性，模拟软权重共享。
• 通过时间序列分解提取多尺度时间模式，增强表征学习，而无需使用复杂的注意力机制或循环结构。
• 通过一天中的时间与一周中某天的嵌入实现周期性学习，以建模每日和每周的交通周期。
• 模型完全局部化，训练和推理过程中无需节点间通信，降低通信开销，适用于分布式或低带宽环境。
• 所有时间与空间表征均通过纯线性变换处理，避免使用非线性激活或注意力机制。
• 最终预测通过将嵌入和分解后的时间序列特征拼接后，经由单个线性层生成。

实验结果

研究问题

• RQ1 仅基于线性层的模型是否能与复杂 STGNN 相比实现具有竞争力的交通预测性能？
• RQ2 节点特定嵌入与周期性建模在极简架构中对预测精度的提升程度如何？
• RQ3 时间序列分解在不使用 RNN 或 Transformer 的情况下如何提升性能？
• RQ4 完全局部化的模型是否能在准确率和计算效率两方面均优于标准 STGNN？
• RQ5 空间属性、每日周期性和每周周期性对模型预测能力的相对贡献是什么？

主要发现

• STLinear 在四个真实世界交通数据集上达到最先进或更优的精度，优于包括 SSTBAN 和 PDFormer 在内的领先 STGNN 模型。
• 与 SSTBAN 相比，STLinear 将每轮的 MACs 降低 95.50% 至 99.81%，内存使用量降低 49.38% 至 98.01%，训练阶段 MACs 降低最高达 99.96%。
• 在 PEMS04-192 和 PEMS04-288 数据集上，SSTBAN 和 PDFormer 遭遇内存溢出错误，而 STLinear 仍能成功训练，凸显其可扩展性。
• 消融实验表明，一天中时间的嵌入是最重要的组件，其移除导致性能下降最大。
• 缺少空间嵌入对性能的影响大于缺少周周期性，但小于缺少日周期性。
• STLinear 在所有数据集上均保持强性能，证明其在极简设计下仍具备鲁棒性和泛化能力。