[논문 리뷰] Multi-variable LSTM neural network for autoregressive exogenous model

Tian Guo, Tao Lin|arXiv (Cornell University)|2018. 06. 17.

Stock Market Forecasting Methods참고 문헌 25인용 수 15

한 줄 요약

이 논문은 다변량 자기회귀 외부변수(ARX) 시계열 모델에서 동시 예측과 변수 중요도 해석을 가능하게 하기 위해 텐서 구조의 은닉 상태를 갖는 다변수LSTM(MV-LSTM)을 제안한다. 시간적 요소와 변수별 주의 메커니즘의 혼합을 도입함으로써 MV-LSTM은 사후 추론을 통해 변수 중요도를 정량화하며, 실제 및 시뮬레이션 데이터셋에서 예측 정확도와 해석 가능성 측면에서 기존 모델들을 능가한다.

ABSTRACT

In this paper, we propose multi-variable LSTM capable of accurate forecasting and variable importance interpretation for time series with exogenous variables. Current attention mechanism in recurrent neural networks mostly focuses on the temporal aspect of data and falls short of characterizing variable importance. To this end, the multi-variable LSTM equipped with tensorized hidden states is developed to learn hidden states for individual variables, which give rise to our mixture temporal and variable attention. Based on such attention mechanism, we infer and quantify variable importance. Extensive experiments using real datasets with Granger-causality test and the synthetic dataset with ground truth demonstrate the prediction performance and interpretability of multi-variable LSTM in comparison to a variety of baselines. It exhibits the prospect of multi-variable LSTM as an end-to-end framework for both forecasting and knowledge discovery.

연구 동기 및 목표

• 다변량 시계열 모델링에서 외부 변수를 포함한 표준 RNN(LSTM 등)의 변수 수준 해석 가능성 부족 문제를 해결하기 위해.
• 정확한 예측과 변수 중요도 정량화를 동시에 가능하게 하는 통합형 엔드 투 엔드 프레임워크를 개발하기 위해.
• 기존 주의 메커니즘은 시간적 주의에만 집중하고 변수별 기여도를 포착하지 못하는 한계를 극복하기 위해.
• LSTM 셀 내에서 개별 변수 표현이 가능하도록 텐서 구조의 은닉 상태를 설계하여 해석 가능성 향상을 위해.
• 실제 데이터셋(그랜저 인과성 검증 포함)과 지정된 진짜 값이 있는 시뮬레이션 데이터를 활용해 모델의 성능과 해석 가능성 검증을 위해.

제안 방법

• 각 은닉 상태 텐서의 요소가 특정 입력 변수에 특화된 정보를 인코딩하는 텐서 구조의 은닉 상태를 갖는 다변수LSTM(MV-LSTM)을 도입한다.
• 시간 단계 간의 시간적 주의와 입력 변수 간의 변수적 주의를 동시에 모델링하는 혼합 주의 메커니즘을 개발하며, 이는 변수별 은닉 상태를 기반으로 한다.
• 학습된 변수 주의 가중치를 바탕으로 변수 중요도를 정량화하는 확률적 사후 추론 프레임워크를 제안한다.
• 사후 주의 분포를 활용해 사전 또는 비정규화된 주의 가중치보다 더 구분력 있는 해석 가능한 중요도 점수를 유도한다.
• 예측 손실과 주의 정규화를 조합하여 엔드 투 엔드로 모델을 훈련함으로써 예측 정확도와 해석 가능성 향상을 동시에 달성한다.
• 실제 데이터셋(PM2.5, Plant, Energy)과 진짜 값이 알려진 시뮬레이션 데이터셋에 모델을 적용하여 성능 및 해석 가능성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 MV-LSTM는 다변량 시계열 모델에 대해 표준 RNN, 통계 모델, 딥러닝 기준선 대비 뛰어난 예측 성능를 달성할 수 있는가?
• RQ2 제안된 혼합 주의 메커니즘은 시간적 주의를 넘어서 입력 수준에서 변수 중요도를 효과적으로 포착하고 정량화할 수 있는가?
• RQ3 MV-LSTM의 변수 주의 사후 추론은 사전 또는 비정규화된 주의 가중치보다 더 정확하고 명확한 변수 중요도 순위를 도출할 수 있는가?
• RQ4 실제 데이터셋에서 그랜저 인과성 검증을 통해 MV-LSTM은 올바른 그랜저 인과 변수를 식별할 수 있는가?
• RQ5 진짜 값이 알려진 시뮬레이션 데이터에서 MV-LSTM은 특히 인과적 영향을 미치는 변수들의 진짜 중요도를 회복할 수 있는가?

주요 결과

• MV-LSTM는 모든 실제 데이터셋에서 최고의 예측 성능를 기록했으며, PM2.5 데이터셋에서 테스트 RMSE는 132.54 ± 0.21을 기록해 모든 기준선을 능가했다.
• 시뮬레이션 데이터셋에서 MV-LSTM는 지정된 진짜 값과 일치하게 변수 2와 3을 상위 기여 변수로 정확히 식별했고, 기존 기준선들은 올바른 중요도 순서를 회복하지 못했다.
• PM2.5 데이터셋에서 MV-LSTM는 이슬점, 누적 풍속, 기압을 상위 3개 중요 변수로 정확히 순위 매기며 도메인 지식과 그랜저 인과성 결과와 일치했다.
• MV-LSTM의 사후 주의 메커니즘은 관련성이 높은 변수(예: 이슬점)에 주의를 집중시키고 관련성이 낮은 변수(예: 누적 강우 시간)의 주의를 억제함으로써 사전 또는 비정규화된 주의보다 더 뛰어난 해석 가능성 향상을 보였다.
• DUAL 및 RETAIN과 비교해 MV-LSTM는 히스토GRAM 시각화를 통해 더 명확하고 의미 있는 변수 중요도 점수를 생성했다.
• 변수 중요도를 위해 희박 정규화에 의존하는 cLSTM는 시뮬레이션 및 실제 데이터셋 모두에서 올바른 변수를 식별하지 못했으며, 이는 MV-LSTM의 주의 기반 해석 가능성의 우수성을 입증한다.