[论文解读] Spatial-Temporal Graph Learning with Adversarial Contrastive Adaptation

Qianru Zhang, Chao Huang+4 more|arXiv (Cornell University)|Jun 19, 2023

Data-Driven Disease Surveillance被引用 5

一句话总结

本文提出 GraphST，一种时空图学习模型，通过对抗性对比学习与跨视图对比学习提升在噪声大、不完整城市数据中的鲁棒性与表征质量。通过自适应识别困难样本并蒸馏多视图自监督信号，GraphST 在真实世界数据集的犯罪预测与交通预测任务中达到最先进性能。

ABSTRACT

Spatial-temporal graph learning has emerged as a promising solution for modeling structured spatial-temporal data and learning region representations for various urban sensing tasks such as crime forecasting and traffic flow prediction. However, most existing models are vulnerable to the quality of the generated region graph due to the inaccurate graph-structured information aggregation schema. The ubiquitous spatial-temporal data noise and incompleteness in real-life scenarios pose challenges in generating high-quality region representations. To address this challenge, we propose a new spatial-temporal graph learning model (GraphST) for enabling effective self-supervised learning. Our proposed model is an adversarial contrastive learning paradigm that automates the distillation of crucial multi-view self-supervised information for robust spatial-temporal graph augmentation. We empower GraphST to adaptively identify hard samples for better self-supervision, enhancing the representation discrimination ability and robustness. In addition, we introduce a cross-view contrastive learning paradigm to model the inter-dependencies across view-specific region representations and preserve underlying relation heterogeneity. We demonstrate the superiority of our proposed GraphST method in various spatial-temporal prediction tasks on real-life datasets. We release our model implementation via the link: \url{https://github.com/HKUDS/GraphST}.

研究动机与目标

• 解决现有时空图模型对噪声大、不完整城市数据的脆弱性问题。
• 开发一种自监督预训练框架，生成无需依赖完美图结构的鲁棒、高质量区域表征。
• 在对比学习过程中自动识别困难正样本与负样本，以提升模型鲁棒性。
• 建模不同视图中区域关系的相互依赖性，以保留潜在关系异质性。
• 通过有效的自监督信号蒸馏降低对人工特征工程的依赖。

提出的方法

• GraphST 采用可学习函数以反映区域间的全局城市上下文，实现上下文感知的图表征学习。
• 提出一种对抗性对比学习范式，利用最小-最大优化框架自动识别困难正负样本。
• 使用生成式自编码器生成适应图结构的自监督信号，用于数据增强。
• 应用跨视图对比学习以建模视图特异性区域表征之间的依赖关系，提升表征的一致性与判别性。
• 整合多视图输入，包括兴趣点矩阵、人类移动轨迹与空间距离矩阵，以丰富区域嵌入。
• 框架支持端到端训练，联合优化对比学习与重建目标，以提升表征学习效果。

实验结果

研究问题

• RQ1 在存在噪声与不完整数据的情况下，如何为时空图预训练生成有效的自监督信号？
• RQ2 如何在对比学习过程中自动识别困难样本，以增强模型鲁棒性与表征判别性？
• RQ3 如何建模不同视图中区域关系的相互依赖性，以保留潜在关系异质性？
• RQ4 对抗性对比学习如何在数据扰动下提升图结构表征的质量？
• RQ5 跨视图对比学习如何增强学习到的区域嵌入的一致性与鲁棒性？

主要发现

• 在纽约市犯罪预测任务中，GraphST 的平均绝对误差（MAE）为 2.1060，相比次优基线（3.5971）降低超过 40%。
• 在相同任务中，模型将平均绝对百分比误差（MAPE）降低至 0.5203，展现出优于最先进方法的预测精度。
• GraphST 的训练时间仅为 275.1 秒，比多个 SOTA 模型更高效，包括 CGAL（4144.8 秒）与 MGFN（852.3 秒）。
• 消融实验表明，对抗性对比学习与跨视图对比学习均对性能提升有显著贡献。
• 模型在多种时空预测任务中表现出强泛化能力，包括交通流预测与犯罪预测。
• 自监督信号蒸馏机制在保持高表征质量的同时，降低了对人工特征工程的依赖。