[論文レビュー] Machine Learning for Spatiotemporal Sequence Forecasting: A Survey

Xingjian Shi, Dit‐Yan Yeung|arXiv (Cornell University)|Aug 21, 2018

Traffic Prediction and Management Techniques参考文献 70被引用数 78

ひとこと要約

時空間シーケンス予測（STSF）に対する機械学習手法の系統的レビューで、問題を分類し、古典的手法と深層学習アプローチの両方を検討する。

ABSTRACT

Spatiotemporal systems are common in the real-world. Forecasting the multi-step future of these spatiotemporal systems based on the past observations, or, Spatiotemporal Sequence Forecasting (STSF), is a significant and challenging problem. Although lots of real-world problems can be viewed as STSF and many research works have proposed machine learning based methods for them, no existing work has summarized and compared these methods from a unified perspective. This survey aims to provide a systematic review of machine learning for STSF. In this survey, we define the STSF problem and classify it into three subcategories: Trajectory Forecasting of Moving Point Cloud (TF-MPC), STSF on Regular Grid (STSF-RG) and STSF on Irregular Grid (STSF-IG). We then introduce the two major challenges of STSF: 1) how to learn a model for multi-step forecasting and 2) how to adequately model the spatial and temporal structures. After that, we review the existing works for solving these challenges, including the general learning strategies for multi-step forecasting, the classical machine learning based methods for STSF, and the deep learning based methods for STSF. We also compare these methods and point out some potential research directions.

研究の動機と目的

• STSFとそのサブ問題を定義する：TF-MPC、STSF-RG、STSF-IG。
• 多ステップ予測における核心的な課題と、時空間構造のモデル化を特定する。
• STSFの古典的手法と深層学習手法をレビューし、対比する。
• 学習戦略（IMS、DMS、ブースティング、scheduled sampling）を要約し、今後の研究方向を示す。

提案手法

• 座標と測定特性に基づいてSTSF問題を分類する（TF-MPC、STSF-RG、STSF-IG）。
• 多ステップ予測の学習戦略を調査する：Iterative Multi-step (IMS)、Direct Multi-step (DMS)、ブースティング、scheduled sampling。
• 古典的方法（特徴量ベース、状態空間モデル、ガウス過程）を、STSF向けのアーキテクチャ適応とともにレビューする。
• STSFを含む時系列生成モデルとフィードフォワード/リカレントネットワークを含む深層学習アプローチをレビューする。

実験結果

リサーチクエスチョン

• RQ1 canonical subcategories of STSF and their distinctive challenges?
• RQ2 How do IMS and DMS compare for multi-step STSF, and what strategies bridge their gaps?
• RQ3 What classical methods adapt to STSF, and what are their limitations?
• RQ4 What deep learning architectures are most effective for capturing spatiotemporal dependencies in STSF?
• RQ5 What future research directions are suggested for STSF?

主な発見

• STSF問題は3つのカテゴリーに分かれる：TF-MPC（座標が変化）, STSF-RG（規則格子）, STSF-IG（不規則格子）。
• 2つの主要な課題は、多ステップ予測の学習と、高次元データを扱うための時空間構造のモデリングである。
• IMSは訓練が容易で長い予測区間に適しているが、誤差が蓄積する。一方、DMSは短い予測区間でより正確になり得るが、計算負荷が高い。
• ブースティングとscheduled samplingはIMSとDMSを結ぶ効果的なハイブリッドであり、実務的な予測品質を向上させる。
• 古典的手法（特徴量ベース、SSMs、GPs）はタスク特異的なエンジニアリングを要し、非線形または大規模なSTSFには限界がある。深層学習手法は複雑なSTSF関係をより柔軟にモデル化できる。