[논문 리뷰] Deep Learning for Spatio-Temporal Data Mining: A Survey

Senzhang Wang, Jiannong Cao외 1명|arXiv (Cornell University)|2019. 06. 11.

Traffic Prediction and Management Techniques참고 문헌 181인용 수 33

한 줄 요약

깊이 학습 모델(CNN, RNN, GraphCNN 등)이 시공간 데이터 마이닝에 어떻게 적용되는지에 대한 포괄적 조사로, 데이터 유형, 표현, 프레임워크, 응용 분야 및 향후 방향을 자세히 다룬다.

ABSTRACT

With the fast development of various positioning techniques such as Global Position System (GPS), mobile devices and remote sensing, spatio-temporal data has become increasingly available nowadays. Mining valuable knowledge from spatio-temporal data is critically important to many real world applications including human mobility understanding, smart transportation, urban planning, public safety, health care and environmental management. As the number, volume and resolution of spatio-temporal datasets increase rapidly, traditional data mining methods, especially statistics based methods for dealing with such data are becoming overwhelmed. Recently, with the advances of deep learning techniques, deep leaning models such as convolutional neural network (CNN) and recurrent neural network (RNN) have enjoyed considerable success in various machine learning tasks due to their powerful hierarchical feature learning ability in both spatial and temporal domains, and have been widely applied in various spatio-temporal data mining (STDM) tasks such as predictive learning, representation learning, anomaly detection and classification. In this paper, we provide a comprehensive survey on recent progress in applying deep learning techniques for STDM. We first categorize the types of spatio-temporal data and briefly introduce the popular deep learning models that are used in STDM. Then a framework is introduced to show a general pipeline of the utilization of deep learning models for STDM. Next we classify existing literatures based on the types of ST data, the data mining tasks, and the deep learning models, followed by the applications of deep learning for STDM in different domains including transportation, climate science, human mobility, location based social network, crime analysis, and neuroscience. Finally, we conclude the limitations of current research and point out future research directions.

연구 동기 및 목표

• 시공간 데이터 유형과 그 표현을 분류한다.
• STDM에 딥러닝을 적용하기 위한 일반 프레임워크를 제시한다.
• 다양한 DL 모델이 시공간 데이터 표현에 어떻게 매핑되는지 검토한다.
• 교통, 기후 과학, 인간 이동성 등 다양한 분야에서의 DL 기반 STDM 응용 사례를 조사한다.
• 현재의 한계를 식별하고 향후 연구 방향을 제안한다.

제안 방법

• 딥러닝을 이용한 STDM의 일반 파이프라인(데이터 인스턴스 구성, 데이터 표현, 모델 선택/설계, 문제 해결)을 도입한다.
• ST 데이터 유형을 이벤트, 궤적, 지점 참조, 래스터, 비디오 유형으로 분류하고 이를 데이터 표현(시퀀스, 그래프, 2D 매트릭스, 3D 텐서)과 매핑한다.
• DL 모델(CNN, GraphCNN, RNN/LSTM/GRU, ConvLSTM, Seq2Seq, AE/SAE, RBM/DBN, GAN 등)과 각 데이터 표현에 대한 적합성을 검토한다.
• 예측, 분류, 표현 학습, 이상 탐지와 같은 STDM 작업을 하나의 프레임워크에서 논의한다.
• 공간적-시간적 상관관정을 파악하기 위한 전처리 단계 및 하이브리드 모델 설계에 대한 지침을 제공한다.
• 데이터 표현이 모델 선택에 미치는 영향을 강조한다(예: 시퀀스는 RNN에, 매트릭스/텐서는 CNN에, 그래프는 GraphCNN에 적합).
• 대표 연구 및 도메인별 응용 사례를 요약한다.

실험 결과

연구 질문

• RQ1 어떤 종류의 시공간 데이터가 존재하며 이를 딥러닝에 적합하게 표현하려면 어떻게 해야 하는가?
• RQ2 일반적인 STDM 작업에서 각 ST 데이터 유형과 표현에 가장 적합한 딥러닝 모델은 무엇인가?
• RQ3 도메인 간에 DL을 STDM에 적용하기 위한 일반 프레임워크가 어떻게 가이드를 제공할 수 있는가?
• RQ4 현재의 DL-STDM 접근법의 주요 한계와 향후 연구 방향은 무엇인가?

주요 결과

• 2016년 이후 STDM에 대한 DL 논문이 급격히 증가했고, 2018년에 특히 증가했다.
• CNN 및 RNN 기반 아키텍처(그래프CNN 및 ConvLSTM 포함)가 공간 맵, 래스터, 궤적, 시계열 처리에 가장 널리 사용된다.
• 데이터 인스턴스화 및 표현에서 모델 설계 및 작업 해결에 이르는 STDM에 DL을 가이드하기 위한 일반적이고 구조화된 프레임워크가 제안된다.
• ST 데이터는 이벤트, 궤적, 지점 참조, 래스터, 비디오 유형으로 분류되며, 이에 대응하는 데이터 표현 및 DL 모델 매핑이 있다.
• 공간 및 시간 의존성을 함께 포착하기 위해 하이브리드 모델(CNN+RNN 등)이 흔히 사용된다.
• 본 조사는 교통, 기후 과학, 인간 이동성, 위치 기반 소셜 네트워크, 범죄 분석, 신경과학 등 분야의 응용을 다루며 한계와 향후 방향을 논의한다.