[论文解读] Discrete Graph Structure Learning for Forecasting Multiple Time Series

Chao Shang, Jie Chen+1 more|arXiv (Cornell University)|Jan 18, 2021

Time Series Analysis and Forecasting参考文献 30被引用 20

一句话总结

本文提出了一种用于多变量时间序列预测的单级可微图结构学习方法，结合图神经网络（GNNs），其中图邻接矩阵通过伯努利概率的神经网络参数化实现端到端学习。该方法在训练成本显著低于LDS等双级优化方法的同时，实现了最先进（SOTA）的预测性能，并支持通过正则化将学习到的结构与先验知识对齐。

ABSTRACT

Time series forecasting is an extensively studied subject in statistics, economics, and computer science. Exploration of the correlation and causation among the variables in a multivariate time series shows promise in enhancing the performance of a time series model. When using deep neural networks as forecasting models, we hypothesize that exploiting the pairwise information among multiple (multivariate) time series also improves their forecast. If an explicit graph structure is known, graph neural networks (GNNs) have been demonstrated as powerful tools to exploit the structure. In this work, we propose learning the structure simultaneously with the GNN if the graph is unknown. We cast the problem as learning a probabilistic graph model through optimizing the mean performance over the graph distribution. The distribution is parameterized by a neural network so that discrete graphs can be sampled differentiably through reparameterization. Empirical evaluations show that our method is simpler, more efficient, and better performing than a recently proposed bilevel learning approach for graph structure learning, as well as a broad array of forecasting models, either deep or non-deep learning based, and graph or non-graph based.

研究动机与目标

• 解决在真实图未知或不可用时，学习多变量时间序列预测图结构的挑战。
• 降低LDS等双级优化方法在图结构学习中面临的高计算成本和可扩展性限制。
• 通过可微的离散图采样，实现GNN的端到端训练，以提升预测性能。
• 通过正则化引入结构先验，平衡预测准确率与图结构保真度。

提出的方法

• 将图结构学习建模为单级优化问题，通过采样离散图的期望验证损失进行最小化。
• 使用神经网络参数化图概率矩阵 θ，实现通过重参数化进行可微采样。
• 利用Gumbel-Softmax技巧，从由 θ(w) 参数化的伯努利分布中采样离散邻接矩阵 A，其中 w 包含GNN和图参数。
• 引入正则化项，平衡预测误差（MAE）与学习到的 θ 和先验图 A^a 之间的交叉熵。
• 仅使用单个验证集进行超参数调优，避免了双级方法中对第二个验证集的需求。
• 通过可微采样过程的反向传播实现端到端训练，支持GNN与图结构的高效联合优化。

实验结果

研究问题

• RQ1 单级可微优化框架是否能在时间序列预测的图结构学习中超越LDS等双级方法？
• RQ2 与双级优化相比，该方法在训练成本和模型规模方面具有怎样的可扩展性？
• RQ3 正则化在不牺牲预测准确率的前提下，能在多大程度上提升学习图结构与已知结构先验的一致性？
• RQ4 与固定图或使用非图方法的模型相比，GNN与图结构的端到端联合学习是否能带来更好的预测性能？

主要发现

• 所提方法在多个基准测试中实现了最先进（SOTA）的预测性能，优于深度学习与非深度学习模型，以及使用LDS的图基模型。
• 与依赖递归动态中链式法则微分的LDS相比，该方法显著降低了训练成本。
• 在PMU数据上，λ = 1时，15分钟预测的MAE达到2.47e-4，优于DCRNN（λ = ∞），并匹配最佳基线模型。
• 在METR-LA和PEMS-BAY上，λ = 0.3的正则化使预测质量接近最优（MAE在λ = 0的5%以内），同时与先验图的交叉熵相比λ = 0降低了80%以上。
• 在PMU数据上，λ = 20时学习到的图结构与先验图的平均交叉熵仅为0.34，表明与合成k-NN先验具有高度一致性。
• 即使先验为合成或不完美，该方法仍能成功学习到提升预测性能的图结构，且无需真实图信息。