[논문 리뷰] A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction

Yao Qin, Dongjin Song외 4명|arXiv (Cornell University)|2017. 04. 07.

Stock Market Forecasting Methods참고 문헌 26인용 수 376

한 줄 요약

DA-RNN은 입력 주의 인코더와 시간 주의 디코더를 통해 관련 driving 시리즈와 긴 기간의 시간 의존성을 선택하여 시계열 예측을 개선하고, SML 2010 및 NASDAQ 100 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

The Nonlinear autoregressive exogenous (NARX) model, which predicts the current value of a time series based upon its previous values as well as the current and past values of multiple driving (exogenous) series, has been studied for decades. Despite the fact that various NARX models have been developed, few of them can capture the long-term temporal dependencies appropriately and select the relevant driving series to make predictions. In this paper, we propose a dual-stage attention-based recurrent neural network (DA-RNN) to address these two issues. In the first stage, we introduce an input attention mechanism to adaptively extract relevant driving series (a.k.a., input features) at each time step by referring to the previous encoder hidden state. In the second stage, we use a temporal attention mechanism to select relevant encoder hidden states across all time steps. With this dual-stage attention scheme, our model can not only make predictions effectively, but can also be easily interpreted. Thorough empirical studies based upon the SML 2010 dataset and the NASDAQ 100 Stock dataset demonstrate that the DA-RNN can outperform state-of-the-art methods for time series prediction.

연구 동기 및 목표

• 다수의 외생(드라이빙) 시리즈를 활용한 시계열 예측의 필요성 제시(NARX 설정).
• 각 시점마다 관련 입력 특징(드라이빙 시리즈)을 자동으로 선택할 수 있는 모델 개발.
• 시간에 따른 encoder 은닉 상태를 선택해 장기적 시간 의존성을 포착.
• 예측에 영향을 주는 입력 및 시간 단계를 이해할 수 있는 해석 가능한 메커니즘 제공.
• 잡음이 있는 입력에 대한 강건성 입증 및 최첨단 Baseline과의 비교.

제안 방법

• LSTM 유닛과 함께 이중 단계 주의 기반 RNN(DA-RNN)을 제안.
• 인코더는 각 시간 단계에서 드라이빙 시리즈의 가중치를 매기는 입력 주의 메커니즘을 사용하여 인코더용 \\tilde{x}_t를 생성.
• 디코더는 시간 주의 메커니즘을 사용해 인코더 은닉 상태 h_i를 시간 단계 Across의 가중 합으로 구성된 컨텍스트 벡터 c_t를 계산.
• 예측은 디코더 상태 d_T와 컨텍스트 c_T를 선형 매핑으로 결합하여 \\hat{y}_T를 산출.
• 학습은 TensorFlow에서 Adam 옵티마이저를 사용한 평균 제곱 오차를 사용.
• 주요 방정식은 입력 주의: e_t^k = v_e^T tanh(W_e [h_{t-1}; s_{t-1}] + U_e x^k) 및 \\alpha_t^k = softmax(e_t^k); \\tilde{x}_t = (\\alpha_t^1 x_t^1, ..., \\alpha_t^n x_t^n)^T; 인코더의 LSTM 업데이트; 시간 주의: l_t^i = v_d^T tanh(W_d [d_{t-1}; s'_{t-1}] + U_d h_i) 및 \\beta_t^i = softmax(l_t^i); c_t = sum_i \\beta_t^i h_i; 최종 출력은 y_tilde와 d_t를 사용해 \\hat{y}_T를 산출.

실험 결과

연구 질문

• RQ1 2단계 주의가 다수의 외생 입력이 있는 NARX 스타일 시계열에서 예측 정확도를 향상시키는가?
• RQ2 각 시간 단계에서 입력 특징 선택이 잡음이 많은 드라이빙 시리즈에 대한 강건성을 향상시키는가?
• RQ3 encoder 상태에 대한 시간 주의가 시계열 예측에서 장기 의존성을 효과적으로 포착하는가?
• RQ4 DA-RNN이 표준 시계열 벤치마크에서 인코더-디코더 및 주의 기반 RNN과 어떻게 비교되는가?

주요 결과

• DA-RNN은 baselines와 비교해 MAE, MAPE, RMSE에서 데이터셋 전반에 걸쳐 최상의 성능을 달성한다.
• 입력 주의는 관련 드라이빙 시리즈를 선택적으로 강조하는 데 도움을 주어 잡음이 있는 입력에 대한 강건성을 향상시킨다.
• 시간 주의는 시간 단계 전반의 중요한 인코더 상태에 초점을 맞춰 장기 의존성을 활용할 수 있게 한다.
• DA-RNN은 Encoder-Decoder 및 Attention RNN보다 우수하며 입력 주의와 시간 주의의 결합이 가장 강력한 성능을 보인다.
• NASDAQ 100에서 DA-RNN (128)은 MAE 0.22, MAPE 0.45%, RMSE 0.33이고 SML 2010에서 DA-RNN (128)은 MAE 1.50, MAPE 7.14%, RMSE 1.97이다.