[论文解读] Machine Learning for Spatiotemporal Sequence Forecasting: A Survey

Xingjian Shi, Dit‐Yan Yeung|arXiv (Cornell University)|Aug 21, 2018

Traffic Prediction and Management Techniques参考文献 70被引用 78

一句话总结

对时空序列预测（STSF）的机器学习方法进行系统性综述，对问题进行分类并评估经典方法与深度学习方法。

ABSTRACT

Spatiotemporal systems are common in the real-world. Forecasting the multi-step future of these spatiotemporal systems based on the past observations, or, Spatiotemporal Sequence Forecasting (STSF), is a significant and challenging problem. Although lots of real-world problems can be viewed as STSF and many research works have proposed machine learning based methods for them, no existing work has summarized and compared these methods from a unified perspective. This survey aims to provide a systematic review of machine learning for STSF. In this survey, we define the STSF problem and classify it into three subcategories: Trajectory Forecasting of Moving Point Cloud (TF-MPC), STSF on Regular Grid (STSF-RG) and STSF on Irregular Grid (STSF-IG). We then introduce the two major challenges of STSF: 1) how to learn a model for multi-step forecasting and 2) how to adequately model the spatial and temporal structures. After that, we review the existing works for solving these challenges, including the general learning strategies for multi-step forecasting, the classical machine learning based methods for STSF, and the deep learning based methods for STSF. We also compare these methods and point out some potential research directions.

研究动机与目标

• 定义 STSF及其子问题：TF-MPC、STSF-RG 和 STSF-IG。
• 识别多步预测的核心挑战以及时空结构建模。
• 回顾并对比 STSF 的经典方法与深度学习方法。
• 总结学习策略（IMS、DMS、boosting、scheduled sampling）并为未来研究方向提供指引。

提出的方法

• 按坐标和测量特征对 STSF 问题进行分类（TF-MPC、STSF-RG、STSF-IG）。
• 调查多步预测的学习策略：Iterative Multi-step（IMS）、Direct Multi-step（DMS）、boosting 和 scheduled sampling。
• 评述经典方法（基于特征的方法、状态空间模型、高斯过程）及其用于 STSF 的结构性改编。
• 评述深度学习方法，包括用于 STSF 的时序生成模型以及前馈/循环网络。

实验结果

研究问题

• RQ1 STSF 的规范子类别及其独特挑战是什么？
• RQ2 IMS 和 DMS 在多步 STSF 中的比较是什么，哪些策略能够弥合它们之间的差距？
• RQ3 哪些经典方法能够适应 STSF，它们的局限性是什么？
• RQ4 在 STSF 中，哪些深度学习架构最有效地捕捉时空依赖？
• RQ5 对 STSF 有哪些未来研究方向的建议？

主要发现

• STSF 问题分为三类：TF-MPC（坐标系在变化）、STSF-RG（规则网格）和 STSF-IG（不规则网格）。
• 两个主要挑战是学习多步预测和建模时空结构以处理高维数据。
• IMS 易于训练，适合长时间步长，但容易积累误差；DMS 在较短时间步长上可能更准确，但计算成本更高。
• Boosting 和 scheduled sampling 是有效的混合方法，桥接 IMS 和 DMS，在实践中提升预测质量。
• 经典方法（基于特征的方法、SSMs、GPs）需要特定任务的工程设计，在非线性或大规模 STSF 上存在局限性；深度学习方法提供了对复杂 STSF 关系更灵活的建模。