[论文解读] Graph Neural Lasso for Dynamic Network Regression

Yixin Chen, Lin Meng+1 more|arXiv (Cornell University)|Jul 25, 2019

Machine Learning and ELM参考文献 40被引用 4

一句话总结

本文提出图神经Lasso（Gnl），一种新颖的图神经网络，通过将门控扩散单元（GDU）与注意力机制及L1-正则化相结合，联合建模互联序列数据中的动态关系与时间趋势。Gnl可端到端学习动态图结构，在股票和交通预测任务中达到最先进性能。

ABSTRACT

The regression of multiple inter-connected sequence data is a problem in various disciplines. Formally, we name the regression problem of multiple inter-connected data entities as the "dynamic network regression" in this paper. Within the problem of stock forecasting or traffic speed prediction, we need to consider both the trends of the entities and the relationships among the entities. A majority of existing approaches can't capture that information together. Some of the approaches are proposed to deal with the sequence data, like LSTM. The others use the prior knowledge in a network to get a fixed graph structure and do prediction on some unknown entities, like GCN. To overcome the limitations in those methods, we propose a novel graph neural network, namely Graph Neural Lasso (GNL), to deal with the dynamic network problem. GNL extends the GDU (gated diffusive unit) as the base neuron to capture the information behind the sequence. Rather than using a fixed graph structure, GNL can learn the dynamic graph structure automatically. By adding the attention mechanism in GNL, we can learn the dynamic relations among entities within each network snapshot. Combining these two parts, GNL is able to model the dynamic network problem well. Experimental results provided on two networked sequence datasets, i.e., Nasdaq-100 and METR-LA, show that GNL can address the network regression problem very well and is also very competitive among the existing approaches.

研究动机与目标

• 解决在动态网络中同时建模时间趋势与演化实体间关系的挑战。
• 克服现有序列回归方法中固定结构GNN与静态图假设的局限性。
• 实现无需预先知晓网络拓扑知识的动态图结构端到端学习。
• 通过集成注意力机制与L1-正则化，提升网络时间序列数据的回归性能与泛化能力。
• 提供一种可扩展的深度学习框架，适用于金融、交通与神经科学等领域的动态网络回归。

提出的方法

• 以门控扩散单元（Gdu）作为核心循环单元，建模节点序列中的时间动态与潜在趋势。
• 引入注意力机制，动态聚合相关节点的信息，捕捉时变关系。
• 在训练过程中端到端学习图结构，无需预设或静态网络拓扑。
• 对模型参数应用L1-范数正则化，以减少过拟合并加速收敛。
• 采用多种优化策略——F-范数、分段导数、近端梯度与加速近端梯度——以提升训练稳定性与效率。
• 结合循环建模与基于注意力的消息传递机制，联合捕捉节点级动态与网络级演化。

实验结果

研究问题

• RQ1 图神经网络能否有效建模动态网络中节点间的时间趋势与演化关系？
• RQ2 端到端学习动态图结构是否优于依赖固定或预设拓扑结构的方法？
• RQ3 注意力机制与L1-正则化的结合如何提升动态网络回归中的泛化能力与收敛性？
• RQ4 Gnl在真实世界动态网络数据集（如Nasdaq-100与METR-LA）上的表现相较于现有基线模型有多大的优势？
• RQ5 不同优化技术如何影响Gnl模型的训练动态与最终性能？

主要发现

• 在Nasdaq-100数据集上，Gnl达到最先进性能，使用PW梯度方法时1天预测的MAE为0.1321，R²为0.9556。
• 在METR-LA交通数据集上，Gnl实现15分钟预测的MAE为2.7928，R²为0.8869，展现出对城市交通速度的强预测精度。
• 采用L1-正则化的模型（Gnl-PW）相比非正则化变体收敛更快且泛化能力更强，证实了正则化的有效性。
• 注意力机制成功捕捉了时变相关性，热力图显示了已知的交通模式（如高峰时段流量）与股票联动趋势。
• 所有四种优化方法（F、PW、PG、APG）的训练损失曲线均显示稳定收敛，表明训练动态具有鲁棒性。
• 消融研究证实，Gdu、注意力机制与L1-正则化的组合相比消融变体能带来更优性能。