[论文解读] FC-GAGA: Fully Connected Gated Graph Architecture for Spatio-Temporal Traffic Forecasting

Boris N. Oreshkin, Arezou Amini+2 more|arXiv (Cornell University)|Jul 30, 2020

Traffic Prediction and Management Techniques被引用 12

一句话总结

FC-GAGA 提出了一种新颖的全连接门控图架构，将 N-BEATS 时间序列预测与可学习的硬性图门控机制相结合，无需事先了解图结构即可对时空交通动态进行建模。该方法在计算成本显著降低的情况下实现了最先进性能，在公开交通数据集上展现出卓越的效率与泛化能力，通过端到端可学习的图关系实现。

ABSTRACT

Forecasting of multivariate time-series is an important problem that has applications in traffic management, cellular network configuration, and quantitative finance. A special case of the problem arises when there is a graph available that captures the relationships between the time-series. In this paper we propose a novel learning architecture that achieves performance competitive with or better than the best existing algorithms, without requiring knowledge of the graph. The key element of our proposed architecture is the learnable fully connected hard graph gating mechanism that enables the use of the state-of-the-art and highly computationally efficient fully connected time-series forecasting architecture in traffic forecasting applications. Experimental results for two public traffic network datasets illustrate the value of our approach, and ablation studies confirm the importance of each element of the architecture. The code is available here: https://github.com/boreshkinai/fc-gaga.

研究动机与目标

• 解决现有基于图的时空预测模型的局限性，包括计算成本高以及依赖预定义或启发式图结构的问题。
• 实现时间序列之间非马尔可夫、复杂交互关系的端到端学习，而无需了解底层图结构。
• 将全连接时间序列模型（如 N-BEATS）的强泛化能力与可学习的稀疏图门控机制相结合，以提升预测准确性。
• 在保持或提升预测性能的同时，显著减少训练和推理时间，相较于现有基于图的模型。
• 证明在图结构时间序列预测中使用全连接架构结合硬性图门控的可行性与优势。

提出的方法

• 使用节点嵌入表示每个时间序列，通过可学习的图权重对来自其他所有节点的历史观测进行门控。
• 采用硬性图门控机制，通过 ReLU 激活函数处理可学习的稀疏图权重，实现对其他节点信息流的有选择性传递。
• 将来自所有节点的门控观测进行堆叠，并通过全连接残差块进行处理，利用 N-BEATS 架构实现时间序列预测。
• 网络中的每一层均学习其自身的图结构，从而实现对时间与空间中非马尔可夫信息扩散的分层建模。
• 在图门控之外集成时间门控机制，动态加权历史输入。
• 使用标准损失函数（MAE、RMSE、MAPE）进行端到端训练，以优化预测准确性。

实验结果

研究问题

• RQ1 能否将全连接时间序列模型与可学习图门控机制有效结合，以在无需图结构先验知识的情况下提升时空预测性能？
• RQ2 所提出的硬性图门控机制是否在全连接架构中相比标准注意力机制的图结构提供更优的性能与泛化能力？
• RQ3 与现有基于图的预测模型相比，所提出的架构在计算与内存开销方面减少了多少？
• RQ4 该模型在不依赖领域特定图先验的情况下，跨不同交通预测数据集的泛化能力如何？
• RQ5 该模型能否通过端到端训练学习到时间与空间中复杂的非马尔可夫依赖关系？

主要发现

• FC-GAGA 在两个公开交通数据集上实现了与最先进模型相当或更优的预测性能，且无需图结构先验知识。
• 与性能相近的基于图的模型相比，训练时间至少减少了三倍，展现出显著的计算效率。
• 消融实验确认，硬性图门控机制至关重要——当与全连接时间序列模块结合时，标准图注意力机制无法取得良好性能。
• 通过消融与实证结果验证，该架构能通过端到端训练有效学习时间与空间中的非马尔可夫、长程依赖关系。
• FC-GAGA 展现出强大的泛化能力与鲁棒性，在 GPU 上的内存与计算消耗显著低于现有模型，且精度相当。
• 该模型在不同评估指标（MAE、MAPE、RMSE）下表现一致，证实其在真实世界预测场景中的可靠性与有效性。