[논문 리뷰] Correlated Time Series Forecasting using Deep Neural Networks: A Summary of Results

Razvan-Gabriel Cirstea, Darius-Valer Micu외 3명|arXiv (Cornell University)|2018. 08. 29.

Time Series Analysis and Forecasting참고 문헌 12인용 수 17

한 줄 요약

이 논문은 1D CNN를 특징 추출에, RNN를 시퀀스 모델링에 사용하여 상관관계가 있는 시계열을 예측하기 위해 두 가지 딥러닝 모델—합성곱 순환 신경망(CRNN)과 오토인코더 합성곱 순환 신경망(AECRNN)—을 제안한다. AECRNN는 오토인코더를 통한 다중 작업 학습을 통해 강건성을 향상시켜 실제 하수 처리장 및 Google 트렌드 데이터에서 기존 모델들을 능가하며, 특히 장기 예측 및 노이즈가 많은 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Cyber-physical systems often consist of entities that interact with each other over time. Meanwhile, as part of the continued digitization of industrial processes, various sensor technologies are deployed that enable us to record time-varying attributes (a.k.a., time series) of such entities, thus producing correlated time series. To enable accurate forecasting on such correlated time series, this paper proposes two models that combine convolutional neural networks (CNNs) and recurrent neural networks (RNNs). The first model employs a CNN on each individual time series, combines the convoluted features, and then applies an RNN on top of the convoluted features in the end to enable forecasting. The second model adds additional auto-encoders into the individual CNNs, making the second model a multi-task learning model, which provides accurate and robust forecasting. Experiments on two real-world correlated time series data set suggest that the proposed two models are effective and outperform baselines in most settings. This report extends the paper "Correlated Time Series Forecasting using Multi-Task Deep Neural Networks," to appear in ACM CIKM 2018, by providing additional experimental results.

연구 동기 및 목표

• 센서에서 생성되는 상호의존적이고 상관관계가 있는 시계열 데이터를 바탕으로 사이버-물리 시스템에서 정확한 예측을 수행하는 데 도전한다.
• 기존 선형 모델(예: ARIMA)과 표준 RNN이 다중 시계열 간의 복잡한 비선형 상관관계를 다루는 데 한계를 보이는 문제를 해결한다.
• 딥러닝 아키텍처에 오토인코더를 통한 다중 작업 학습을 통합하여 강건성과 일반화 능력을 향상시킨다.
• 산업용 사이버-물리 시스템(CPS), 예를 들어 하수 처리장 및 교통 시스템에서 추세, 이상 현상 및 사고 영향을 예측함으로써 종합적인 시스템 모니터링을 가능하게 한다.

제안 방법

• 각 개별 시계열에 대해 독립적으로 1D 합성곱 신경망(CNN)을 적용하여 계층적이고 비선형적인 특징을 추출한다.
• 모든 시계열에서 풀링된 특징을 연결하여 순환 신경망(RNN)에 입력함으로써 시간적 의존성과 다중 시계열 간 상관관계를 모델링한다.
• AECRNN의 CNN 브랜치 내부에 오토인코더를 도입하여 원래 시계열을 재구성함으로써 특징 학습을 정규화하는 다중 작업 학습을 가능하게 한다.
• RNN 예측 오차와 오토인코더 재구성 오차를 포함하는 복합 손실 함수를 최적화하여 일반화 능력을 향상시키고 과적합을 줄인다.
• 두 가지 브랜치 아키텍처를 사용하여 RNN은 향후 값을 예측하고, 오토인코더는 학습된 특징가 대표성 있고 노이즈에 강건한지 보장한다.
• 최적의 성능를 확보하기 위해 각 데이터셋에 맞게 필터 수(2 for AECRNN, 3 for CRNN)와 시퀀스 길이(l=50)와 같은 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 CNN과 RNN을 융합한 하이브리드 딥러닝 모델이 실생활 산업 시스템에서 다수의 상관관계가 있는 시계열을 효과적으로 예측할 수 있는가?
• RQ2 CNN-RNN 아키텍처에 오토인코더를 통합하면, 노이즈가 많거나 상관관계가 없는 입력을 다룰 때 예측 강건성이 향상되는가?
• RQ3 제안된 모델(CRNN 및 AECRNN)이 고전적 방법(ARIMA, RNN, LSTM)과 기준 딥러닝 모델에 비해 다양한 시퀀스 길이와 예측 수준에서 정확도 측면에서 어떻게 비교되는가?
• RQ4 모델들이 상관관계가 있는 시계열에서 얼마나 많은 이점을 얻는가? 상관관계가 없는 시계열이나 합성 시계열이 추가되었을 경우 성능는 어떻게 되는가?
• RQ5 환경 모니터링(하수 처리장)과 웹 행동(구글 트렌드)과 같은 다양한 도메인 간에 모델이 최소한의 재구성으로 일반화 가능한가?

주요 결과

• AECRNN는 하수 처리장 데이터셋에서 RMSE 및 MAPE 측면에서 CRNN 및 모든 기준 모델을 능가하며, 특히 장기 예측(p=25)과 긴 입력 시퀀스(l=50)에서 두드러진 성능을 보였다.
• Google 트렌드 데이터셋에서는 AECRNN가 p=25일 때 가장 낮은 RMSE를 기록했지만, p=50일 경우 성능이 다소 떨어졌고, 이 경우 CRNN와 LSTM이 유사한 성능을 보였다.
• 단일 시계열을 예측할 경우 RNN이 가장 우수한 성능를 보였지만, 다수의 상관관계가 있는 시계열을 입력으로 사용할 경우 CRNN와 AECRNN가 정확도를 크게 향상시켰다.
• AECRNN에 오토인코더를 포함시킴으로써 강건성이 향상되었다: 상관관계가 없는 시계열이 추가되었을 때도 AECRNN는 낮은 오차(MAPE=10.7)를 유지했지만, CRNN는 성능이 크게 떨어져(MAPE=13.0) 나타났다.
• 짧은 시퀀스(l=10)에서는 LSTM이 가장 높은 정확도를 기록했지만, 시퀀스 길이가 증가함에 따라 CRNN와 AECRNN가 이를 능가함으로써 더 긴 컨텍스트를 처리할 수 있는 우수한 확장성을 보였다.
• 시각적 분석 결과, 오토인코더 정규화 덕분에 AECRNN가 피크 진폭을 더 잘 포착하는 반면, CRNN는 미세한 왜곡을 더 잘 유지하는 경향이 있어, 진폭 정확도와 세부 정보 충실도 사이의 상충 관계를 보였다.