[논문 리뷰] Support for Stock Trend Prediction Using Transformers and Sentiment Analysis

Harsimrat Kaeley, Ye Qiao외 1명|arXiv (Cornell University)|2023. 05. 18.

Stock Market Forecasting MethodsDecision Sciences인용 수 3

한 줄 요약

이 논문은 주식 시세의 장기 추세 예측을 햖을 때 장기적 의존성을 효과적으로 포착하고 실시간 감성 신호를 통합함으로써 RNN보다 최대 18.63% 높은 방향 정확도를 달성하는 Transformer 기반 모델인 StockFormer을 제안한다. 자기주의 주의를 활용하여 장기적 의존성을 포착하고 뉴스 헤드라인에서의 감성 분석을 통합함으로써, 30일 예측 윈도우에서 RNN보다 뛰어난 성능을 보이며 장기 예측 수준에서의 우수성을 입증한다.

ABSTRACT

Stock trend analysis has been an influential time-series prediction topic due to its lucrative and inherently chaotic nature. Many models looking to accurately predict the trend of stocks have been based on Recurrent Neural Networks (RNNs). However, due to the limitations of RNNs, such as gradient vanish and long-term dependencies being lost as sequence length increases, in this paper we develop a Transformer based model that uses technical stock data and sentiment analysis to conduct accurate stock trend prediction over long time windows. This paper also introduces a novel dataset containing daily technical stock data and top news headline data spanning almost three years. Stock prediction based solely on technical data can suffer from lag caused by the inability of stock indicators to effectively factor in breaking market news. The use of sentiment analysis on top headlines can help account for unforeseen shifts in market conditions caused by news coverage. We measure the performance of our model against RNNs over sequence lengths spanning 5 business days to 30 business days to mimic different length trading strategies. This reveals an improvement in directional accuracy over RNNs as sequence length is increased, with the largest improvement being close to 18.63% at 30 business days.

연구 동기 및 목표

• RNN이 장기적 의존성을 포착하는 데에 한계가 있고 주식 추세 예측에서 시장 뉴스의 지연을 다루는 데에 어려움을 겪는 문제를 해결하기 위해.
• 기술적 지표와 뉴스 헤드라인에서 유래한 실시간 감성 신호를 통합하는 Transformer 기반 모델을 개발하여 예측 정확도를 향상시키기 위해.
• 다양한 시퀀스 길이(5~30개의 영업일)에서 모델 성능을 평가하여 다양한 거래 전략에 대한 확장성 평가를 위해.
• 거의 3년에 걸쳐 일일 기술적 데이터와 상위 뉴스 헤드라인을 포함하는 새로운 데이터셋을 제안하여 장기 금융 예측 연구를 위해 기여하기 위해.
• 제안된 모델의 성능을 RNN 및 최근의 Transformer 기반 모델들과 비교하여, 이전에 탐색되지 않은 장기 예측 윈도우에서의 성능을 평가하기 위해.

제안 방법

• 모델는 주식 데이터와 헤드라인에 대한 입력 시퀀스 간 장기적 시간적 의존성을 모델링하기 위해 다중 헤드 자기주의 주의(self-attention)를 사용하는 Transformer 인코더 아키텍처를 사용한다.
• 기술적 주식 특징(예: 시가, 고가, 저가, 종가, 거래량)은 정규화되어 뉴스 헤드라인에서 유도된 임bedded된 감성 점수와 함께 모델에 입력된다.
• 감성 분석은 NLP 기법을 사용하여 매일의 뉴스 헤드라인에 적용되어 실시간 감성 임베딩을 생성하고, 이는 기술적 특징과 연결된다.
• 모델는 n일 간의 지연 윈도우 데이터를 기반으로 다음 날의 정규화된 시가(다음 날 n+1)를 예측하도록 훈련되며, 이는 회귀 과제로 설정된다.
• 입력 시퀀스의 시간 순서를 유지하기 위해 사인파 함수를 사용한 위치 인코딩이 적용되어 모델이 시간 역학을 학습할 수 있도록 한다.
• 성능 평가는 방향 정확도, 평균 제곱 오차(MSE), R²를 사용하며, 다양한 윈도우 크기에서 LSTM, GRU, S_EMDAM_LSTM 기준 모델과의 비교를 통해 평가된다.

실험 결과

연구 질문

• RQ1 자기주의 주의를 통해 장기적 의존성을 더 효과적으로 포착함으로써, Transformer 기반 모델이 RNN보다 장기 주식 추세 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 기술적 분석 외에 뉴스 헤드라인에서의 감성 분석을 통합할 경우, 단순 기술적 분석에 비해 방향 정확도가 얼마나 향상되는가?
• RQ3 다양한 시퀀스 길이(5~30개의 영업일)에서 모델 성능은 어떻게 변화하는가? 그리고 장기 예측 윈도우로 갈수록 Transformer와 RNN 간의 성능 격차는 증가하는가?
• RQ4 실시간 감성 신호 통합이 기술적 지표의 지연 현상으로 인해 발생하는 시장 변화에 대한 반응 지연을 완화하는가?
• RQ5 특히 짧은 및 장기 예측 윈도우에서 유사한 성능 범위에서, 최근의 Transformer 기반 모델인 TEANet과 비교할 때 제안된 StockFormer 모델은 어떤가?

주요 결과

• StockFormer 모델은 30일 예측 윈도우에서 방향 정확도 89.19%를 기록하여 RNN 기반 모델 대비 최대 18.63% 향상된 성능을 보였다.
• 시퀀스 길이가 길어질수록 방향 정확도가 증가함을 확인하여, Transformer의 자기주의 주의 메커니즘이 RNN이 유지하지 못하는 장기적 의존성을 효과적으로 포착하고 있음을 입증했다.
• 장기 예측 윈도우에서 Bi-Directional LSTM, GRU-News, S_EMDAM_LSTM 기준 모델보다 뛰어난 성능을 보였으며, 특히 30일 윈도우에서 RNN 기반 모델을 크게 앞서는 성능을 기록했다.
• 5일 윈도우에서는 StockFormer이 60.36%의 방향 정확도를 기록했으며, TEANet의 65.16%에 비해 略적으로 낮아, RNN 기반 모델이 단기 예측에서 약간의 우위를 점할 수 있음을 시사한다.
• 헤드라인에서 유도된 감성 분석의 통합은 모델이 시장 충격에 더 민감하게 반응하도록 하여, 지연된 기술적 지표와 실시간 시장 움직임 사이의 괴리를 줄였다.
• 30일 윈도우에서 R²는 0.9219, MSE는 0.1071을 기록하여, 정규화된 가격 추세 예측에서 강력한 회귀 성능을 보이며 다중 지표에서의 성능 안정성을 입증했다.