[논문 리뷰] Machine Learning for Spatiotemporal Sequence Forecasting: A Survey

Xingjian Shi, Dit‐Yan Yeung|arXiv (Cornell University)|2018. 08. 21.

Traffic Prediction and Management Techniques참고 문헌 70인용 수 78

한 줄 요약

STSF(시공간 연속 예측)에 대한 기계학습 방법의 체계적 고찰로, 문제를 분류하고 고전적 방법과 딥 러닝 접근법을 모두 검토한다.

ABSTRACT

Spatiotemporal systems are common in the real-world. Forecasting the multi-step future of these spatiotemporal systems based on the past observations, or, Spatiotemporal Sequence Forecasting (STSF), is a significant and challenging problem. Although lots of real-world problems can be viewed as STSF and many research works have proposed machine learning based methods for them, no existing work has summarized and compared these methods from a unified perspective. This survey aims to provide a systematic review of machine learning for STSF. In this survey, we define the STSF problem and classify it into three subcategories: Trajectory Forecasting of Moving Point Cloud (TF-MPC), STSF on Regular Grid (STSF-RG) and STSF on Irregular Grid (STSF-IG). We then introduce the two major challenges of STSF: 1) how to learn a model for multi-step forecasting and 2) how to adequately model the spatial and temporal structures. After that, we review the existing works for solving these challenges, including the general learning strategies for multi-step forecasting, the classical machine learning based methods for STSF, and the deep learning based methods for STSF. We also compare these methods and point out some potential research directions.

연구 동기 및 목표

• STSF와 그 하위 문제를 정의한다: TF-MPC, STSF-RG, 그리고 STSF-IG.
• 다단계 예측의 핵심 도전 과제와 시공간 구조 모델링을 식별한다.
• STSF에 대한 고전적 방법과 딥 러닝 방법을 검토하고 대조한다.
• 학습 전략(IMS, DMS, 부스팅, 예정된 샘플링)을 요약하고 향후 연구 방향을 안내한다.

제안 방법

• 좌표 및 측정 특성에 따라 STSF 문제를 분류한다(TF-MPC, STSF-RG, STSF-IG).
• 다단계 예측을 위한 학습 전략을 조사한다: Iterative Multi-step (IMS), Direct Multi-step (DMS), boosting, 그리고 scheduled sampling.
• STSF에 대한 고전적 방법들(특징 기반, 상태-공간 모델, 가우시안 프로세스)을 STSF를 위한 아키텍처 적응과 함께 검토한다.
• STSF를 위한 시계열 생성 모델 및 피드포워드/순환 네트워크를 포함한 딥 러닝 접근법을 검토한다.

실험 결과

연구 질문

• RQ1 STSF의 정형 서브카테고리와 그 고유한 도전 과제는 무엇인가?
• RQ2 IMS와 DMS가 다단계 STSF에서 어떻게 비교되며, 그 간극을 메우는 전략은 무엇인가?
• RQ3 STSF에 적응하는 고전적 방법은 무엇이며, 그 한계는 무엇인가?
• RQ4 STSF에서 시공간 의존성을 포착하는 가장 효과적인 딥 러닝 아키텍처는 무엇인가?
• RQ5 STSF를 위한 향후 연구 방향은 무엇인가?

주요 결과

• STSF 문제는 세 가지 범주로 나뉜다: TF-MPC(좌표 변경), STSF-RG(정규 격자), STSF-IG(비정규 격자).
• 두 가지 주요 도전 과제는 다단계 예측 학습과 시공간 구조를 모델링하여 고차원 데이터를 관리하는 것이다.
• IMS는 학습이 쉽고 긴 시계열에 적합하지만 오차가 누적된다; DMS는 짧은 시계열에서 더 정확할 수 있지만 계산 비용이 더 많이 든다.
• 부스팅과 scheduled sampling은 IMS와 DMS를 연결하는 효과적인 하이브리드로서 실전 예측 품질을 향상시킨다.
• 고전적 방법(특징 기반, SSM, GP)은 특정 작업에 맞춘 공학이 필요하고 비선형 또는 대규모 STSF에서 한계가 있으며, 딥 러닝 방법은 복잡한 STSF 관계를 더 유연하게 모델링한다.