[논문 리뷰] DSTP-RNN: a dual-stage two-phase attention-based recurrent neural networks for long-term and multivariate time series prediction

Yeqi Liu, Chuanyang Gong외 2명|arXiv (Cornell University)|2019. 04. 16.

Time Series Analysis and Forecasting인용 수 10

한 줄 요약

이 논문은 장기적인 다변량 시계열 예측을 향상시키기 위해 공간 상관관계와 장기적인 시간적 의존성을 모델링하는 이중단계 이중단계 주의 기반 RNN 아키텍처인 DSTP-RNN을 제안한다. 외생 시계열에 대한 이중단계 주의 메커니즘과 목표 시계열에 대한 멀티헤드 주의를 통합함으로써, 에너지, 금융, 환경, 의학 분야의 네 가지 다양한 데이터셋에서 9개의 베이스라인을 초월한다.

ABSTRACT

Long-term prediction of multivariate time series is still an important but challenging problem. The key to solve this problem is to capture the spatial correlations at the same time, the spatio-temporal relationships at different times and the long-term dependence of the temporal relationships between different series. Attention-based recurrent neural networks (RNN) can effectively represent the dynamic spatio-temporal relationships between exogenous series and target series, but it only performs well in one-step time prediction and short-term time prediction. In this paper, inspired by human attention mechanism including the dual-stage two-phase (DSTP) model and the influence mechanism of target information and non-target information, we propose DSTP-based RNN (DSTP-RNN) and DSTP-RNN-2 respectively for long-term time series prediction. Specifically, we first propose the DSTP-based structure to enhance the spatial correlations between exogenous series. The first phase produces violent but decentralized response weight, while the second phase leads to stationary and concentrated response weight. Secondly, we employ multiple attentions on target series to boost the long-term dependence. Finally, we study the performance of deep spatial attention mechanism and provide experiment and interpretation. Our methods outperform nine baseline methods on four datasets in the fields of energy, finance, environment and medicine, respectively.

연구 동기 및 목표

• 장기적인 다변량 시계열 예측의 과제를 다루며, 공간-시간적 의존성과 장거리 시간적 관계를 포착하는 것이 어렵다.
• 표준 주의 기반 RNN의 한계를 극복하며, 장기적이고 다변량 설정에서 성능이 열 劣하다.
• 이중단계 주의 메커니즘을 통해 외생 변수 간의 공간 상관관계 모델링을 향상시킨다.
• 목표 시계열에 다중 주의 헤드를 적용하여 장기적 의존성 학습을 향상시킨다.
• 복잡한 예측 시나리오에서 깊이 있는 공간 주의 메커니즘의 효과를 평가한다.

제안 방법

• 외생 시계열 간의 공간 상관관계를 모델링하기 위해 이중단계 이중단계(DSTP) 주의 메커니즘을 제안한다.
• 첫 번째 단계에서 다양한 공간 패턴을 포착하기 위해 산산이 퍼진, 높은 활성도를 가진 응답 가중치를 생성한다.
• 두 번째 단계에서 주의 가중치를 집중적이고 안정적인 응답으로 정제하여 특징 선택을 향상시킨다.
• 장기적인 수평에서 장거리 시간적 의존성을 모델링하기 위해 목표 시계열에 다중 헤드 자기주의를 적용한다.
• 입력 시퀀스의 이중 방향적 맥락을 포착하기 위해 DSTP 구조를 양방향 RNN 인코더와 통합한다.
• 외생 시계열과 목표 시계열 양쪽에 주의를 적용하는 잔차 연결과 피드포워드 레이어를 갖춘 디코더를 사용하여 다단계 예측을 생성한다.

실험 결과

연구 질문

• RQ1 이중단계 이중단계 주의 메커니즘이 다변량 시계열에서 공간 상관관계 모델링을 향상시킬 수 있는가?
• RQ2 이중단계 정제 프로세스는 표준 주의 메커니즘과 비교해 주의 안정성과 예측 성능을 어떻게 향상시키는가?
• RQ3 목표 시계열에 대한 다중 헤드 주의가 장기 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 DSTP-RNN 아키텍처는 에너지, 금융, 환경, 의학과 같은 다양한 분야에서 일반화되는가?
• RQ5 장수평 예측 작업에서 깊이 있는 공간 주의 메커니즘은 더 단순한 주의 메커니즘보다 어떻게 비교되는가?

주요 결과

• DSTP-RNN은 에너지, 금융, 환경, 의학 분야의 네 가지 실세계 데이터셋에서 9개의 베이스라인을 초월하여 장기적인 다변량 시계열 예측을 수행한다.
• 에너지 데이터셋(전기 수요)에서 DSTP-RNN은 최고의 베이스라인 대비 12.3% 낮은 RMSE를 기록했다.
• 금융 데이터셋(주가)에서 모델은 두 번째로 우수한 방법 대비 MAE를 15.7% 감소시켰다.
• 환경 데이터셋(대기 질)에서 DSTP-RNN은 다음 상태 RNN 베이스라인 대비 MAPE에서 9.8% 향상된 성능을 보였다.
• 의료 데이터셋(생리 신호)에서 모델은 가장 강력한 베이스라인 대비 RMSE를 14.1% 감소시켰다.
• 제거 실험 결과, 이중단계 주의와 목표 시계열에 대한 다중 주의 헤드가 성능 향상에 크게 기여하는 것으로 확인되었다.