[논문 리뷰] A Spatial-Temporal Decomposition Based Deep Neural Network for Time Series Forecasting

Reza Asadi, Amelia Regan|arXiv (Cornell University)|2019. 02. 02.

Traffic Prediction and Management Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 대규모 시계열 예측, 특히 교통 흐름 예측에 적합한 공간-시간 분해 기반 딥 뉴럴 네트워크(C-CNN-LSTM-DA)를 제안한다. 이는 퍼지 클러스터링과 다중 커널 컨볼루션을 사용해 시계열을 단기, 장기 및 공간 패턴으로 분해하고, 장기 의존성을 모델링하기 위해 컨볼루션-LSTM를 통합하며, 사전 훈련된 노이즈 제거 오토인코더를 도입해 결측 데이터에 대한 강건성을 향상시킨다. 이로 인해 최신 기술 대비 정확도와 강건성 면에서 뛰어난 성능을 보였다.

ABSTRACT

Spatial time series forecasting problems arise in a broad range of applications, such as environmental and transportation problems. These problems are challenging because of the existence of specific spatial, short-term and long-term patterns, and the curse of dimensionality. In this paper, we propose a deep neural network framework for large-scale spatial time series forecasting problems. We explicitly designed the neural network architecture for capturing various types of patterns. In preprocessing, a time series decomposition method is applied to separately feed short-term, long-term and spatial patterns into different components of a neural network. A fuzzy clustering method finds cluster of neighboring time series based on similarity of time series residuals; as they can be meaningful short-term patterns for spatial time series. In neural network architecture, each kernel of a multi-kernel convolution layer is applied to a cluster of time series to extract short-term features in neighboring areas. The output of convolution layer is concatenated by trends and followed by convolution-LSTM layer to capture long-term patterns in larger regional areas. To make a robust prediction when faced with missing data, an unsupervised pretrained denoising autoencoder reconstructs the output of the model in a fine-tuning step. The experimental results illustrate the model outperforms baseline and state of the art models in a traffic flow prediction dataset.

연구 동기 및 목표

• 대규모 공간-시간 시계열 예측, 특히 교통 흐름 예측에서 공간적 상관관계, 단기 및 장기 패턴, 그리고 결측 데이터로 인해 모델링이 복잡해지는 문제를 해결하기 위해.
• 시계열 분해와 잔차의 퍼지 클러스터링을 통해 시계열을 단기, 장기, 공간 패턴으로 명시적으로 분해하기 위해.
• 각 성분을 별도로 처리하는 신경망 아키텍처를 설계하기 위해: 국소적 공간 패턴은 다중 커널 컨볼루션을, 지역적 장기 추세는 컨볼루션-LSTM을 사용하기 위해.
• 사전 훈련된 노이즈 제거 오토인코더를 피닝 튜닝 단계에 통합하여, 결측 데이터 조건에서도 모델의 강건성을 향상시키기 위해.
• 실제 교통 흐름 예측에서 정상 및 결측 데이터 조건을 모두 고려할 때 기준 모델 및 최신 기술 대비 뛰어난 성능을 입증하기 위해.

제안 방법

• 시계열 분해를 통해 원본 데이터를 추세, 계절성 및 잔차 성분으로 분리하고, 잔차 성분을 활용해 공간적으로 관련된 단기 패턴을 식별한다.
• 시간 시계열 잔차에 퍼지 c-의미 클러스터링을 적용하여 유사한 잔차 패턴을 보이는 인접 센서를 군집화하여 국소적 패턴 학습을 위한 클러스터를 형성한다.
• 각 클러스터에 대해 독립적으로 작동하는 다중 커널 컨볼루션 레이어를 적용하며, 각 커널은 클러스터 내의 시간 단위에만 작용하여 공간적 구조를 유지하고 국소적 단기 동역학을 포착한다.
• 다중 커널 컨볼루션의 출력은 추세 성분과 결합되어 컨볼루션-LSTM 레이어에 입력되어 더 넓은 공간 범위에서의 장기 의존성을 모델링한다.
• 모델의 출력에 대해 노이즈 제거 오토인코더를 사전 훈련하고, 엔드 투 엔드로 피팅하여 원본 신호를 재구성함으로써 결측 데이터 및 노이즈에 대한 강건성을 향상시킨다.
• 최종 모델인 C-CNN-LSTM-DA는 분해, 클러스터링, 다중 커널 CNN, 컨볼루션-LSTM, 노이즈 제거 오토인코더를 통합하여 강건하고 정확한 예측을 수행한다.

실험 결과

연구 질문

• RQ1 시계열을 단기, 장기 및 공간 패턴으로 명시적으로 분해함으로써 대규모 공간-시간 시스템에서의 예측 정확도 향상이 가능한가?
• RQ2 원시 데이터 대신 시계열 잔차를 사용하여 인접 센서 간의 공간적 상관관계를 효과적으로 모델링할 수 있는가?
• RQ3 네트워크 구조를 가진 데이터에 대해 표준 컨볼루션 레이어 대비 각 공간 클러스터에 대해 다중 커널 컨볼루션 레이어를 사용할 경우 성능 향상이 이루어지는가?
• RQ4 사전 훈련된 노이즈 제거 오토인코더가 교통 흐름 예측에서 결측 데이터에 직면했을 때 모델의 강건성을 어느 정도 향상시키는가?
• RQ5 모델의 정확도 및 데이터 손상 또는 결측치 존재 조건에서의 강건성 면에서 최신 기술 대비 제안된 모델은 어떻게 비교되는가?

주요 결과

• C-CNN-LSTM-DA 모델은 무작위로 생성된 결측값이 포함된 테스트 데이터에서 30분 예측 MAE 13.1, RMSE 23.9을 기록하여 LSTM(MAE: 16.7, RMSE: 28.8) 및 CNN-LSTM(MAE: 16.5, RMSE: 28.9)을 모두 초월했다.
• 정점 시간대에서는 잔차 MAE를 8.2로 줄여, LSTM(11.1)과 MLP(12.2)를 크게 앞서며 고변동 조건에서도 뛰어난 성능을 보였다.
• 비피크 시간대에서는 잔차 MAE 4.4를 유지하여 LSTM(4.3)과 유사한 안정적인 성능을 보였으며, 다양한 교통 조건에서의 일반화 능력이 뛰어나다는 것을 시사했다.
• 노이즈 제거 오토인코더 구성 요소는 결측 데이터로 인한 예측 오차 증가를 줄였다. 그림 11에서 C-CNN-LSTM-DA는 다른 모델 대비 오차 증가 속도가 더 느렸다.
• 시간 시계열 잔차의 퍼지 클러스터링은 의미 있는 공간 패턴을 드러내어, 잔차가 노이즈가 아니라 국소적 공간 상호작용의 지표로 사용될 수 있음을 검증했다.
• 클러스터링을 통한 공간 분해와 성분별 전용 신경망 모듈의 통합은 정확도 및 강건성 면에서 표준 딥 러닝 기준 모델 대비 측정 가능한 성능 향상을 이끌어냈다.