[논문 리뷰] Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks

Guokun Lai, Wei-Cheng Chang외 2명|arXiv (Cornell University)|2017. 03. 21.

Time Series Analysis and Forecasting참고 문헌 26인용 수 25

한 줄 요약

이 논문은 단기 패턴 추출을 위한 합성곱 신경망(CNNs), 장기 의존성 모델링을 위한 순환 신경망(RNNs), 척도에 민감하지 않은 예측을 처리하기 위한 자기회귀(AR) 성분을 결합한 딥러닝 프레임워크인 LSTNet을 제안한다. LSTNet은 실생활 데이터인 교통, 태양광 에너지, 전력 소비에서 매일 및 매주 반복되는 패턴을 효과적으로 포착함으로써 다변량 시계열 예측에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Multivariate time series forecasting is an important machine learning problem across many domains, including predictions of solar plant energy output, electricity consumption, and traffic jam situation. Temporal data arise in these real-world applications often involves a mixture of long-term and short-term patterns, for which traditional approaches such as Autoregressive models and Gaussian Process may fail. In this paper, we proposed a novel deep learning framework, namely Long- and Short-term Time-series network (LSTNet), to address this open challenge. LSTNet uses the Convolution Neural Network (CNN) and the Recurrent Neural Network (RNN) to extract short-term local dependency patterns among variables and to discover long-term patterns for time series trends. Furthermore, we leverage traditional autoregressive model to tackle the scale insensitive problem of the neural network model. In our evaluation on real-world data with complex mixtures of repetitive patterns, LSTNet achieved significant performance improvements over that of several state-of-the-art baseline methods. All the data and experiment codes are available online.

연구 동기 및 목표

• 단기 및 장기 반복 패턴이 혼합된 다변량 시계열 예측 문제에 도전한다.
• 전통적인 자기회귀 모델 및 가우시안 프로세스 모델이 국소적이고 전역적인 시간 의존성을 동시에 포착하는 데 한계를 가진다는 점을 극복한다.
• 국소적 패턴 추출을 위한 CNNs, 장기 추세 모델링을 위한 RNNs, 척도 불변 예측을 위한 AR 성분을 통합한 딥러닝 아키텍처를 설계한다.
• 복잡한 시간 동적 특성을 보이는 실생활 데이터 세트(예: 교통, 태양광 에너지, 전력 소비)에서 강력한 성능을 보임을 입증한다.
• 재현 가능성을 높이고 향후 시계열 예측 연구를 지원하기 위해 오픈소스 코드 및 데이터를 제공한다.

제안 방법

• 1차원 합성곱 레이어를 활용해 다변량 시계열에서 局소적이고 이동에 불변하는 패턴("shapelets")을 추출하여 변수 간 단기 의존성을 포착한다.
• 게이트드 순환단위(GRU) 또는 LSTM 레이어를 사용해 시계열 데이터의 장기적 시간 의존성과 추세를 모델링한다.
• RNN 출력의 잔차 오차를 모델링하는 자기회귀(AR) 성분을 통합하여 척도 변동에 대한 강건성과 일반화 능력을 향상시킨다.
• RNN 레이어에 스킵-연결 메커니즘(스킵-순환 유닛)을 적용해 네트워크가 직접으로 먼 과거 시점의 시간 단위에 주목할 수 있도록 하여 장거리 의존성 학습을 향상시킨다.
• 시간 순서에 따라 분할된 훈련 세트에서 평균 제곱오차(MSE) 손실을 사용해 엔드 투 엔드 모델을 훈련시키며, 초모수는 검증 세트에서 튜닝한다.
• 기저 주기 T를 가진 주기적 가우시안 노이즈를 모델링하기 위해 유효함수를 사용하여 실생활의 척도 변동(예: 공휴일 또는 기상 요인에 의한 변동)을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 다변량 시계열에서 단기 국소 패턴과 장기 전역 추세를 효과적으로 포착할 수 있는가?
• RQ2 CNNs, RNNs, 및 자기회귀 성분을 조합함으로써 단독 모델 대비 예측 정확도가 어떻게 향상되는가?
• RQ3 LSTNet은 실생활 시계열에서 일일 및 주간 주기와 같은 혼합 주기 패턴을 어느 정도 잘 모델링할 수 있는가?
• RQ4 자기회귀 성분의 포함 여부가 시계열 데이터의 척도 변동에 대한 강건성에 어떻게 기여하는가?
• RQ5 복잡한 시간 동적 특성을 보이는 다양한 실생활 데이터 세트에서 LSTNet은 최신 기술 수준의 기준 모델 대비 어떻게 성능을 내는가?

주요 결과

• LSTNet는 태양광 에너지, 교통, 전력 데이터 세트에서 VAR, RNN-GRU, 기타 하이브리드 모델과 같은 최신 기술 수준의 기준 모델들을 뛰어넘는 성능을 보였다.
• 교통 데이터 세트에서 LSTNet는 일일 및 주간 패턴을 모두 성공적으로 포착한 반면, VAR 모델은 평일과 주말 패턴을 구분하지 못했다.
• 제거 실험에서 AR 성분을 제거한 LSTw/oAR 모델은 척도 변화가 있는 테스트 데이터에서 일반화 능력이 떨어지는 것으로 나타나, AR 모듈이 척도에 민감하지 않은 예측을 처리하는 데 핵심적인 역할을 한다는 점을 확인했다.
• LSTNet는 척도 변동이 있는 테스트 데이터에 대해 RNN-GRU보다 훨씬 잘 맞추는 것으로 나타났으며, RNN-GRU는 진폭 변화에 적응하지 못하는 것으로 나타나, AR 성분의 중요성을 입증했다.
• 스킵-순환 메커니즘이 RNN이 직접으로 먼 과거 시점에 주목할 수 있도록 해 장거리 의존성 모델링 능력을 향상시켰다.
• 실험 결과, LSTNet는 모든 데이터 세트에서 모든 기준 모델보다 낮은 RMSE를 기록했으며, 여러 평가에서 통계적으로 유의미한 향상이 있었다.