[논문 리뷰] A Memory-Network Based Solution for Multivariate Time-Series Forecasting

Yen‐Yu Chang, Fan-Yun Sun외 2명|arXiv (Cornell University)|2018. 09. 06.

Time Series Analysis and Forecasting참고 문헌 24인용 수 54

한 줄 요약

MTNet은 메모리 모듈과 세 개의 인코더, 그리고 해석 가능한 주의(attention) 메커니즘을 갖춘 자기회귀 구성요소를 통해 장기 패턴과 주기를 포착하는 다변량 시계열 예측용 메모리 증강 뉴럴 네트워크를 도입한다.

ABSTRACT

Multivariate time series forecasting is extensively studied throughout the years with ubiquitous applications in areas such as finance, traffic, environment, etc. Still, concerns have been raised on traditional methods for incapable of modeling complex patterns or dependencies lying in real word data. To address such concerns, various deep learning models, mainly Recurrent Neural Network (RNN) based methods, are proposed. Nevertheless, capturing extremely long-term patterns while effectively incorporating information from other variables remains a challenge for time-series forecasting. Furthermore, lack-of-explainability remains one serious drawback for deep neural network models. Inspired by Memory Network proposed for solving the question-answering task, we propose a deep learning based model named Memory Time-series network (MTNet) for time series forecasting. MTNet consists of a large memory component, three separate encoders, and an autoregressive component to train jointly. Additionally, the attention mechanism designed enable MTNet to be highly interpretable. We can easily tell which part of the historic data is referenced the most.

연구 동기 및 목표

• 장기 의존성과 교차 변수 상호작용을 해결하여 다변량 시계열 예측 성능을 향상시키려는 동기를 제시한다.
• 메모리 모듈, 세 개의 인코더, 그리고 자기회귀 구성요소를 갖춘 MTNet을 제안한다.
• 메모리 구간에 대한 블록 단위 attention을 통해 예측에 영향을 주는 과거 패턴의 해석 가능성을 확보한다.
• 다양한 단변량 및 다변량 데이터셋에서 MTNet를 최첨단 기준선과 비교해 검증한다.

제안 방법

• 메모리 구성요소는 장기 히스토리를 저장하고, 입력의 단기 표현이 여기에 주의를 기울입니다.
• 세 개의 독립적인 인코더가 메모리, 입력, 메모리 출력에 대한 임베딩 맵을 생성합니다.
• 입력 임베딩과 메모리 임베딩 간의 내적을 통해 어텐션 가중치를 산출하고 이를 출력 임베딩에 적용합니다.
• AR 선형 구성요소가 신경망 출력과 결합되어 최종 예측을 만듭니다.
• 최종 예측은 신경망 출력과 AR 구성요소의 합으로 나타납니다.
• 학습은 Adam 옵티마이저와 함께 평균절대오차(L1 손실)를 사용합니다.

실험 결과

연구 질문

• RQ1 메모리 증강 아키텍처가 RNN 기반 접근법에 비해 다변량 시계열 데이터에서 장기 및 주기적 의존성을 더 잘 포착할 수 있는가?
• RQ2 주기적 패턴이 있는 데이터셋에서 과거 타임스탬프뿐 아니라 메모리 청크에 대한 주의가 예측 정확도와 해석 가능성을 개선하는가?
• RQ3 단변량 및 다변량 작업에서 MTNet이 기존 기준선(RNN-GRU, DA-RNN, LSTNet 등) 대비 어떤 성능을 보이는가?

주요 결과

• MTNet은 단변량 및 다변량 벤치마크에서 다수의 예측 시점에 걸쳐 경쟁 모델보다 우수한 성능을 보였다.
• 메모리 증강 방식은 장기 및 주기적 패턴 처리에 우수하며 DA-RNN 및 LSTNet 기준선을 능가하는 정확도를 보였다.
• 메모리에 대한 블록 단위 주의를 통해 어떤 과거 구간이 예측에 가장 큰 영향을 주는지 시각화가 가능하여 해석 가능성을 보여준다.
• 신경망 구성요소와 병렬로 AR를 통합한 것이 데이터셋 간 강건성을 향상시킨다.
• Beijing PM2.5, GefCom2014 Electricity Price, Traffic, Solar-Energy, Electricity, Exchange-Rate 데이터셋에서 다수의 기준선 대비 명확한 이점을 보인다.