[논문 리뷰] An interpretable LSTM neural network for autoregressive exogenous model

Tian Guo, Tao Lin외 1명|arXiv (Cornell University)|2018. 04. 14.

Stock Market Forecasting Methods인용 수 37

한 줄 요약

이 논문은 은닉 상태를 텐서로 구조화하여 변수별 표현을 인코딩함으로써, 자동회귀 외부변수(ARX) 시계열 예측에서 시간적 및 변수 수준의 주의 메커니즘을 가능하게 하는 다변수LSTM(MV-LSTM)을 제안한다. 이 모델은 경쟁적인 예측 성능를 달성하며, 주의 메커니즘을 통한 학습된 변수 중요도와 통계적 그랜저 인과관계 간의 강한 일치를 보이며, 실제 세계 데이터셋에서 해석 가능한 지식 발견을 가능하게 한다.

ABSTRACT

In this paper, we propose an interpretable LSTM recurrent neural network, i.e., multi-variable LSTM for time series with exogenous variables. Currently, widely used attention mechanism in recurrent neural networks mostly focuses on the temporal aspect of data and falls short of characterizing variable importance. To this end, our multi-variable LSTM equipped with tensorized hidden states is developed to learn variable specific representations, which give rise to both temporal and variable level attention. Preliminary experiments demonstrate comparable prediction performance of multi-variable LSTM w.r.t. encoder-decoder based baselines. More interestingly, variable importance in real datasets characterized by the variable attention is highly in line with that determined by statistical Granger causality test, which exhibits the prospect of multi-variable LSTM as a simple and uniform end-to-end framework for both forecasting and knowledge discovery.

연구 동기 및 목표

• 표준 LSTM에서 모든 입력 변수를 동일하게 취급하여 개별 기여도를 구분하지 못하는 점을 해결하기 위해 변수 수준의 해석 가능성 부족 문제를 해결한다.
• 다변수 시계열에 외부 변수가 존재할 때 정확한 예측과 해석 가능한 지식 발견을 동시에 지원하는 통합형 엔드 투 엔드 프레임워크를 개발한다.
• 은닉 상태를 텐서화된 표현으로 재정의함으로써 RNN에 변수 수준의 주의 메커니즘을 가능하게 한다. 각 표현은 단일 입력 변수로부터의 정보를 인코딩한다.
• MV-LSTM에서 학습된 변수 주의 메커니즘이 기존의 통계적 인과 영향 측정법(예: 그랜저 인과관계)과 의미 있는 상관관계를 가지는지 검증한다.

제안 방법

• MV-LSTM는 은닉 상태 텐서의 각 요소가 고유하게 하나의 입력 변수에 대응하도록 텐서화된 은닉 상태를 사용한다. 이는 변수별 표현을 가능하게 한다.
• 입력에서 은닉 상태로의 전이와 은닉 상태에서 은닉 상태로의 전이를 모두 텐서화하여 각 변수별로 별도의 가중치 행렬을 사용함으로써, 변수 간 정보의 격리가 보장된다.
• 입력, 막힘, 출력 게이트는 모든 입력 변수의 공통된 조합 표현을 사용하여 계산되며, 이는 시계열 간 상관관계를 유지한다.
• 변수 수준의 주의 메커니즘은 각 변수의 최종 은닉 상태에 적용되는 피드포워드 네트워크를 통해 계산되며, 앙상블 예측을 위한 주의 가중치를 생성한다.
• 시간적 주의 메커니즘도 지원되지만, 본 논문은 해석 가능성에 초점을 맞춰 변수 수준의 주의 메커니즘에 집중한다.
• 최종 예측은 주의 가중치를 소프트맥스로 정규화한 후, 변수별 예측의 가중합으로 구성된다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모델이 목표 시계열에 대한 외부 변수의 진정한 영향을 반영하는 해석 가능한 변수 수준의 주의 메커니즘을 학습할 수 있는가?
• RQ2 MV-LSTM에서 유도된 변수 중요도는 통계적 그랜저 인과관계를 통해 확보된 결과와 어떻게 비교되는가?
• RQ3 MV-LSTM는 최신의 주의 메커니즘을 갖춘 RNN 및 전통적인 앙상블 모델과 비교해 경쟁적인 예측 성능를 달성하는가?
• RQ4 MV-LSTM는 다변수 시계열에서 정확한 예측과 인과적 지식 발견을 동시에 수행할 수 있는 통합형 엔드 투 엔드 프레임워크로 활용될 수 있는가?

주요 결과

• MV-LSTM는 최고 수준의 예측 성능를 달성하였으며, PM2.5 데이터셋에서 테스트 RMSE가 0.340 ± 0.001을 기록하여 RF, XGBoost, DUAL, RETAIN를 모두 앞선다.
• ENERGY 데이터셋에서는 테스트 RMSE가 0.361 ± 0.001을 기록하여 XGBoost와 동등한 성능를 보이며, DUAL 및 RETAIN를 능가한다.
• PM2.5 데이터셋에서 MV-LSTM의 평균 주의도 기반 상위 4개 변수인 이슬점, 기압, 온도, 풍속은 그랜저 인과관계로 확인된 인과적 영향을 가진 변수들과 매우 유사하게 일치한다.
• MV-LSTM의 주의 기반 변수 중요도는 도메인 지식과 일치한다. 예를 들어, 이슬점과 기압은 북풍의 영향을 받는 것으로 알려져 있으며, 이는 높은 주의도 점수로 반영된다.
• 반면, DUAL 모델은 부록에서 볼 수 있듯이 의미 있는 변수 중요도를 도출하지 못하며, 이는 MV-LSTM의 구조화된 주의 메커니즘의 우수성을 강조한다.
• 결과적으로 MV-LSTM는 다변수 시계열에서 정확한 예측과 해석 가능한 인과 분석을 동시에 가능하게 하는 단순하고 통합된 프레임워크임을 입증한다.