[논문 리뷰] Financial series prediction using Attention LSTM

Sang-Yeon Kim, Myungjoo Kang|arXiv (Cornell University)|2019. 02. 28.

Stock Market Forecasting Methods참고 문헌 22인용 수 16

한 줄 요약

이 논문은 다중 소스 금융 시계열 데이터를 사용하여 코스피200 지수의 추세를 예측하기 위해 주의력 강화된 LSTM 모델을 제안한다. 가중 주의 메커니즘을 LSTM 네트워크와 통합함으로써 예측 정확도를 향상시켰으며, 0.763의 히트 비율을 달성하였다. 또한 주의력 가중치의 해석 가능한 시각화를 통해 영향을 미치는 핵심 요인과 시기들을 식별할 수 있다.

ABSTRACT

Financial time series prediction, especially with machine learning techniques, is an extensive field of study. In recent times, deep learning methods (especially time series analysis) have performed outstandingly for various industrial problems, with better prediction than machine learning methods. Moreover, many researchers have used deep learning methods to predict financial time series with various models in recent years. In this paper, we will compare various deep learning models, such as multilayer perceptron (MLP), one-dimensional convolutional neural networks (1D CNN), stacked long short-term memory (stacked LSTM), attention networks, and weighted attention networks for financial time series prediction. In particular, attention LSTM is not only used for prediction, but also for visualizing intermediate outputs to analyze the reason of prediction; therefore, we will show an example for understanding the model prediction intuitively with attention vectors. In addition, we focus on time and factors, which lead to an easy understanding of why certain trends are predicted when accessing a given time series table. We also modify the loss functions of the attention models with weighted categorical cross entropy; our proposed model produces a 0.76 hit ratio, which is superior to those of other methods for predicting the trends of the KOSPI 200.

연구 동기 및 목표

• 딥 러닝 모델을 사용하여 코스피200 지수의 금융 시계열 예측 정확도를 향상시키기.
• MLP, 1D CNN, LSTM 및 주의망을 포함한 다수의 딥 러닝 아키텍처의 성능을 평가하고 비교하기.
• 입력 요인과 시간 시퀀스 양쪽 차원의 주의력 벡터를 시각화하여 모델의 해석 가능성 향상하기.
• 불균형한 추세 예측 작업에서의 성능 향상을 위해 가중 카테고리형 교차 엔트로피 손실 함수 최적화하기.
• 주요 영향을 미치는 시기와 금융 요인을 주의력 가중치 분석을 통해 규명하기.

제안 방법

• 2007–2016년 기간의 10년치 코스피200 및 관련 금융 지표(환율, 글로벌 지수, 상품 등) 데이터셋을 기반으로 스태킹된 LSTM 모델을 훈련시켰다.
• 다양한 시간 단계와 입력 특성의 중요도를 동적으로 가중하기 위해 주의 메커니즘을 LSTM 아키텍처에 통합하였다.
• 높은 폭도의 가격 변동에 대한 정확한 예측을 우선시하고 모델의 강건성을 향상시키기 위해 가중 카테고리형 교차 엔트로피 손실 함수를 구현하였다.
• 시간(시기) 및 특성(요인) 차원의 주의력 벡터를 시각화하여 모델 결정을 해석하고 핵심 입력을 식별하였다.
• 입력 시퀀스에 60일 유효기간을 설정하고, 다양한 미래 예측 수준(예: 40일 후 예측)에서 성능을 평가하였다.
• 모델당 5회의 독립적인 훈련을 수행하여 결과의 안정성을 확보하고, 히트 비율 및 점수 등 평균 성능 지표를 보고하였다.

실험 결과

연구 질문

• RQ1 MLP, 1D CNN, LSTM 및 주의망을 포함한 다양한 딥 러닝 모델들이 코스피200 지수 추세 방향 예측에서 어떻게 비교되는가?
• RQ2 표준 주의망 대비 가중 주의 메커니즘을 사용할 경우 예측 정확도와 모델 안정성에 어떤 영향을 미치는가?
• RQ3 모델에서 가장 높은 주의력 가중치를 받는 금융 요인과 시기는 무엇이며, 이는 예측 결과와 어떻게 연관되는가?
• RQ4 유효기간 길이가 다양한 모델에서 예측 성능에 어떤 영향을 미치는가?
• RQ5 주의력 시각화가 모델의 금융 추세 예측 의사결정 과정에 대해 직관적이고 해석 가능한 통찰을 제공할 수 있는 정도는 어느 정도인가?

주요 결과

• 가중 주의력 LSTM 모델은 테스트 세트에서 0.763의 최고 히트 비율을 기록하여 표준 주의망(0.715) 및 기준 모델들을 크게 앞섰다.
• 긍정적 추세 예측의 경우 70.9%의 정확도를 달성하였고, 부정적 추세 예측에서는 72.3%의 정확도를 기록하여 양방향 모두에서 뛰어난 성능를 보였다.
• 모의 거래에서 모델은 1,257.462점의 수익을 올렸으며, 표준 주의망(1,090.718점) 대비 15% 향상된 수익성을 보여, 리스크 조정 기반 시뮬레이션에서 뛰어난 수익성 확보를 입증하였다.
• 주의력 시각화 결과, S&P 500 글로벌 지수와 미국 달러 지수가 가장 높은 가중치를 가진 요인으로 확인되었고, 입력 윈도우의 최종 일자와 몇몇 중간 일자에서 시간적 주의력 가중치가 가장 높았다.
• 더 긴 유효기간(60일)은 모든 모델에서 히트 비율 향상에 일관되게 기여하였으며, 최적의 성능는 40일 예측 수준에서 관찰되었다.
• 모델의 주의 메커니즘이 핵심 입력을 효과적으로 강조하여, 특히 시장 변동성이 높은 기간 동안 특정 추세 예측의 이유를 직관적으로 해석할 수 있도록 하였다.