[论文解读] Multi-Modal Graph Interaction for Multi-Graph Convolution Network in Urban Spatiotemporal Forecasting

Geng Xu, Xiyu Wu+4 more|arXiv (Cornell University)|May 27, 2019

Human Mobility and Location-Based Analysis被引用 14

一句话总结

本文提出了一种用于城市时空预测的多模态图交互框架，采用多图卷积网络（MGCN），引入分组图卷积（GGCN）以通过复合图连通性实现更优的空间特征提取，以及多线性关系图卷积（MRGCN）以减少高层特征中的共适应性，提升泛化能力。该方法在网约车需求预测任务中实现了最先进性能，显著提升了准确性、鲁棒性与训练效率。

ABSTRACT

Graph convolution network based approaches have been recently used to model region-wise relationships in region-level prediction problems in urban computing. Each relationship represents a kind of spatial dependency, like region-wise distance or functional similarity. To incorporate multiple relationships into spatial feature extraction, we define the problem as a multi-modal machine learning problem on multi-graph convolution networks. Leveraging the advantage of multi-modal machine learning, we propose to develop modality interaction mechanisms for this problem, in order to reduce generalization error by reinforcing the learning of multimodal coordinated representations. In this work, we propose two interaction techniques for handling features in lower layers and higher layers respectively. In lower layers, we propose grouped GCN to combine the graph connectivity from different modalities for more complete spatial feature extraction. In higher layers, we adapt multi-linear relationship networks to GCN by exploring the dimension transformation and freezing part of the covariance structure. The adapted approach, called multi-linear relationship GCN, learns more generalized features to overcome the train-test divergence induced by time shifting. We evaluated our model on ridehailing demand forecasting problem using two real-world datasets. The proposed technique outperforms state-of-the art baselines in terms of prediction accuracy, training efficiency, interpretability and model robustness.

研究动机与目标

• 为解决多图卷积网络（MGCN）中因不同模态间区域对连接不完整而导致的空间特征提取不充分问题。
• 通过提升模型泛化能力与可迁移性，减少时空预测中的时间偏移泛化差距。
• 通过建模模态间关系并减少隐藏层中的共适应性，增强图学习中的多模态协同。
• 提升城市计算任务（如网约车需求预测）中模型的鲁棒性、可解释性与训练效率。

提出的方法

• 引入分组图卷积（GGCN），在由多模态边合并形成的复合图上执行图卷积，实现空间特征提取的完全连通性。
• 在高层网络中应用多线性关系图卷积（MRGCN），通过学习到的协方差结构建模模态特异性关系，减少神经元共适应性。
• 使用协方差矩阵L2-范数的负对数作为特征依赖性的度量，以指导模态交互并提升泛化能力。
• 通过冻结部分协方差结构并应用维度变换，将多线性关系网络适配至GCN，实现稳定且泛化能力强的特征学习。
• 采用Hinton图可视化并解释模态间关系，揭示所有模态之间存在正相关性，且依赖关系稳定。
• 利用图密度与相似性度量（F-measure、编辑距离）分析模态间的结构关系，验证模态交互设计的有效性。

实验结果

研究问题

• RQ1 如何改进多模态图连通性，以确保在城市时空预测中所有区域对之间都能实现完整空间特征提取？
• RQ2 模态交互机制在多大程度上可减少共适应性并提升深层GCN架构的泛化能力？
• RQ3 多图卷积网络中模态间关系的本质是什么？如何学习并解释这些关系？
• RQ4 所提方法在真实世界城市数据集上的预测精度、训练效率与鲁棒性方面，相较于SOTA基线表现如何？

主要发现

• 所提模型在预测精度上优于最先进基线，测试RMSE为10.78，显著低于各模态单独移除的情况（如无邻近模态时为11.47）。
• MRGCN通过提升特征依赖性的上界，减少神经元共适应性，提升模型泛化能力与可迁移性，验证依据为更低的特征协方差值。
• 所有模态（邻近、POI相似性、道路连通性）在关系上均呈正相关，表明其在表征学习中具有相互增强作用。
• POI相似性与道路连通性之间的模态关系比邻近与道路连通性之间的关系更稳定，这与它们的结构相似性及图密度一致（POI相似性图较密集，而邻近与道路图较稀疏）。
• Hinton图显示，邻近与道路连通性之间关系微弱且随机，与二者边集不相交及图相似性低（F-measure = 0，编辑距离 = 8.8e2）一致。
• 模型展现出更强的鲁棒性与训练效率，由于高层泛化能力提升，对时间偏移波动的敏感性降低。