[논문 리뷰] Graph-Based Deep Modeling and Real Time Forecasting of Sparse Spatio-Temporal Data

Bao Wang, Xiyang Luo외 4명|arXiv (Cornell University)|2018. 04. 02.

Traffic Prediction and Management Techniques참고 문헌 15인용 수 56

한 줄 요약

이 논문은 희소한 시공간 데이터에 대한 두 부분 프레임워크를 제안합니다: (1) 다변 Hawkes 프로세스를 통해 희소 시공간 가중 그래프(STWG)를 추론하고, (2) 그 그래프를 기반으로 한 그래프 구조 순환 신경망(GSRNN)으로 예측하며, 범죄 및 교통 데이터에 대해 시연합니다.

ABSTRACT

We present a generic framework for spatio-temporal (ST) data modeling, analysis, and forecasting, with a special focus on data that is sparse in both space and time. Our multi-scaled framework is a seamless coupling of two major components: a self-exciting point process that models the macroscale statistical behaviors of the ST data and a graph structured recurrent neural network (GSRNN) to discover the microscale patterns of the ST data on the inferred graph. This novel deep neural network (DNN) incorporates the real time interactions of the graph nodes to enable more accurate real time forecasting. The effectiveness of our method is demonstrated on both crime and traffic forecasting.

연구 동기 및 목표

• 공간과 시간 모두에서 희소한 ST 데이터의 정확한 예측을 목표로 한다.
• 거시 규모의 시공간 의존성을 인코딩하는 STWG를 도입한다.
• 추정된 그래프에서 미시 규모 패턴을 포착하기 위해 그래프-구조의 DNN(GSRNN)을 개발한다.
• 범죄 및 교통 데이터 세트에서 실시간 예측 성능을 시연한다.

제안 방법

• SP 희소 데이터를 STWG로 표현하며, 노드는 지리적 영역(예: 우편번호)에 대응하고, 간선은 다변 Hawkes 프로세스를 통해 학습된 자기- 및 상호 자극을 인코딩한다.
• 희소성을 유도하기 위해 L1 정규화를 갖춘 페널라이즈드 로그 가능도를 최대화하여 STWG를 추정하며, split-Bregman 단계가 포함된 EM 알고리즘으로 해결한다.
• 일주기 누적 함수로 매핑하고 국소 초해상도를 적용하여 DNN 입력용 보강 데이터를 생성하는 방식으로 희소 시계열을 보강한다.
• 그래프 간선에 정보가 흐르게 하는 에지 LSTM과 노드 LSTM이 합쳐 향후 개수를 예측하도록 하는 그래프 구조 RNN(GSRNN)을 배치하여, 피드포워드와 유사한 아키텍처를 형성한다.
• Hawkes 가중치를 기반으로 한 가중 평균 풀링으로 양방향 SRNN 확장을 사용하여 예측 성능을 향상시킨다.
• 데이터 증강과 각 노드당 계단식(cascaded) LSTM을 적용하여 미시 규모 예측 정확도를 개선한다.

실험 결과

연구 질문

• RQ1 비정형 공간 도메인에서 희소 시공간 데이터를 어떻게 효과적으로 모델링할 수 있는가?
• RQ2 Hawkes 프로세스 기반 그래프 추론이 예측에 적합한 거시 규모의 시공간 의존성을 포착할 수 있는가?
• RQ3 추정된 STWG를 활용하는 그래프 구조 RNN이 전통적 베이스라인보다 희소 ST 데이터(범죄, 교통)의 실시간 예측 성능을 향상시키는가?

주요 결과

• STWG는 거시 규모의 시공간 의존성을 포착하고 도시 전역의 범죄 데이터를 희소 그래프 형태로 표현 가능하게 한다.
• 에지 LSTM과 가중 풀링을 갖춘 GSRNN이 LA 및 CHI 데이터셋에서 범죄 예측에 대해 단일 노드 및 공동 학습 베이스라인을 앞선다.
• 일주기 누적 변환을 통한 데이터 증강이 희소 시계열에서 DNN 성능을 크게 향상시킨다.
• GSRNN의 양방향 확장 및 가중 풀링은 단방향 SRNN 변형에 비해 예측 정확도를 향상시킨다.
• 교통 예측 실험에서 BikeNYC 및 TaxiBJ 데이터셋에서 ST-ResNet 및 베이스라인 모델과 비교해 GSRNN의 RMSE 성능이 경쟁력있음을 보인다.