[论文解读] Deep Learning for Spatio-Temporal Data Mining: A Survey

Senzhang Wang, Jiannong Cao+1 more|arXiv (Cornell University)|Jun 11, 2019

Traffic Prediction and Management Techniques参考文献 181被引用 33

一句话总结

对深度学习模型（CNN、RNN、GraphCNN 等）在时空数据挖掘中的应用进行了全面综述，详细说明数据类型、表示、框架、应用及未来方向。

ABSTRACT

With the fast development of various positioning techniques such as Global Position System (GPS), mobile devices and remote sensing, spatio-temporal data has become increasingly available nowadays. Mining valuable knowledge from spatio-temporal data is critically important to many real world applications including human mobility understanding, smart transportation, urban planning, public safety, health care and environmental management. As the number, volume and resolution of spatio-temporal datasets increase rapidly, traditional data mining methods, especially statistics based methods for dealing with such data are becoming overwhelmed. Recently, with the advances of deep learning techniques, deep leaning models such as convolutional neural network (CNN) and recurrent neural network (RNN) have enjoyed considerable success in various machine learning tasks due to their powerful hierarchical feature learning ability in both spatial and temporal domains, and have been widely applied in various spatio-temporal data mining (STDM) tasks such as predictive learning, representation learning, anomaly detection and classification. In this paper, we provide a comprehensive survey on recent progress in applying deep learning techniques for STDM. We first categorize the types of spatio-temporal data and briefly introduce the popular deep learning models that are used in STDM. Then a framework is introduced to show a general pipeline of the utilization of deep learning models for STDM. Next we classify existing literatures based on the types of ST data, the data mining tasks, and the deep learning models, followed by the applications of deep learning for STDM in different domains including transportation, climate science, human mobility, location based social network, crime analysis, and neuroscience. Finally, we conclude the limitations of current research and point out future research directions.

研究动机与目标

• 对时空数据类型及其表示进行分类。
• 提出一个将深度学习应用于 STDM 的通用框架。
• 回顾不同 DL 模型如何映射到时空数据表示。
• 调研基于 DL 的时空数据挖掘在交通、气候科学、人体移动等领域的应用。
• 识别局限性并提出未来研究方向。

提出的方法

• 引入使用深度学习的 STDM 通用流程：数据实例构建、数据表示、模型选择/设计，以及问题求解。
• 将 ST 数据分类为事件、轨迹、点参考、栅格和视频类型，并将它们映射到数据表示（序列、图、2D 矩阵、3D 张量）。
• 综述 DL 模型（CNN、GraphCNN、RNN/LSTM/GRU、ConvLSTM、Seq2Seq、AE/SAE、RBM/DBN、GAN 等）及它们对不同数据表示的适用性。
• 在统一框架中讨论预测、分类、表示学习和异常检测等 STDM 任务。
• 就预处理步骤和混合模型设计以捕捉空间和时间相关性提供指导。
• 强调数据表示如何影响模型选择（例如：序列用于 RNN，矩阵/张量用于 CNN，图用于 GraphCNN）。
• 总结具有代表性的工作和特定领域的应用。

实验结果

研究问题

• RQ1 存在哪些类型的时空数据，以及如何有效地将它们表示以供深度学习使用？
• RQ2 在常见的 STDM 任务中，哪些深度学习模型最适合每种 ST 数据类型和表示？
• RQ3 一个通用框架如何指导 DL 在 STDM 跨域的应用？
• RQ4 当前 DL-STDM 方法的主要局限性及未来研究方向是什么？

主要发现

• 自 2016 年以来，DL 在 STDM 论文中呈现快速增长，2018 年尤为显著。
• 基于 CNN 和 RNN 的体系结构（包括 GraphCNN 和 ConvLSTM）是处理空间地图、栅格、轨迹和时间序列最广泛使用的。
• 一个通用、结构化的框架被提出以指导使用 DL 的 STDM，从数据实例化与表示到模型设计及任务求解。
• ST 数据被分类为事件、轨迹、点参考、栅格和视频类型，并给出相应的数据表示和 DL 模型映射。
• 混合模型（如 CNN+RNN）在捕捉空间和时间相关性方面很常见。
• 该综述覆盖了交通、气候科学、人体移动、基于位置的社交网络、犯罪分析和神经科学等领域的应用，并讨论了局限性与未来方向。