[논문 리뷰] Stock price prediction using BERT and GAN

Priyank Sonkiya, Vikas Bajpai외 1명|arXiv (Cornell University)|2021. 07. 18.

Stock Market Forecasting Methods참고 문헌 34인용 수 5

한 줄 요약

이 논문은 주식 가격 예측을 위해 재무 뉴스의 감성 분석에 대해 finBERT를 활용하고, 생성적 적대적 네트워크(GAN)를 사용하여 애플 인크. 주가를 예측하는 앙상블 모델인 S-GAN을 제안한다. 생성기로 GRU를, 판별기로 1D-CNN을 사용하며, 감성 점수를 잠재 노이즈로 활용함으로써, 순수한 GAN 대비 35% 낮은 RMSE를 기록하고, 5일, 15일, 30일 예측 수렴 기간 동안 LSTM, GRU, ARIMA를 모두 앞서는 성능을 보였다.

ABSTRACT

The stock market has been a popular topic of interest in the recent past. The growth in the inflation rate has compelled people to invest in the stock and commodity markets and other areas rather than saving. Further, the ability of Deep Learning models to make predictions on the time series data has been proven time and again. Technical analysis on the stock market with the help of technical indicators has been the most common practice among traders and investors. One more aspect is the sentiment analysis - the emotion of the investors that shows the willingness to invest. A variety of techniques have been used by people around the globe involving basic Machine Learning and Neural Networks. Ranging from the basic linear regression to the advanced neural networks people have experimented with all possible techniques to predict the stock market. It's evident from recent events how news and headlines affect the stock markets and cryptocurrencies. This paper proposes an ensemble of state-of-the-art methods for predicting stock prices. Firstly sentiment analysis of the news and the headlines for the company Apple Inc, listed on the NASDAQ is performed using a version of BERT, which is a pre-trained transformer model by Google for Natural Language Processing (NLP). Afterward, a Generative Adversarial Network (GAN) predicts the stock price for Apple Inc using the technical indicators, stock indexes of various countries, some commodities, and historical prices along with the sentiment scores. Comparison is done with baseline models like - Long Short Term Memory (LSTM), Gated Recurrent Units (GRU), vanilla GAN, and Auto-Regressive Integrated Moving Average (ARIMA) model.

연구 동기 및 목표

• 재무 뉴스에서 유도된 감성 분석을 딥러닝 모델과 융합하여 주가 예측 성능을 향상시키기 위해.
• ARIMA 및 RNN과 같은 전통적인 시계열 모델이 복잡한 시장 역학을 포착하는 데 한계가 있음을 해결하기 위해.
• 감성 정보를 GAN 기반 주가 예측에서 잠재 벡터로 활용함으로써 수렴 속도와 정확도 향상을 도모하기 위해.
• 실제로 일일 거래 결정에 적용 가능한 실용적인 단기 예측 모델을 개발하기 위해.
• 다중 예측 수렴 기간 동안 감성 기반 GAN 모델이 기존 모델 대비 우월함을 입증하기 위해.

제안 방법

• Apple Inc.와 관련된 뉴스 헤드라인 및 기사에서 감성 점수를 추출하기 위해 파인튜닝된 BERT(fine-tuned BERT, finBERT)를 사용한다.
• 기술적 지표(예: 7-DMA, 21-DMA, RSI, MACD, 볼린저 밴드, EMA, 로그 모멘텀)와 글로벌 시장 지수를 입력 특징으로 사용한다.
• 생성기로 GRU 기반, 판별기로 1D-CNN 기반의 GAN 아키텍처를 활용하여 향후 주가를 생성한다.
• 생성기는 무작위 정규 노이즈 대신 감성 점수를 잠재 노이즈 벡터로 사용함으로써 더 빠른 수렴과 향상된 성능를 달성한다.
• 모델은 Adam 옵timizer를 사용하여 학습되며, 학습률 0.00016, 배치 크기 128, 165 에포크 동안 평균 제곱오차(MSE)를 최소화한다.
• 성능 평가에는 테스트 데이터의 RMSE를 사용하며, 5일, 15일, 30일 예측 수렴 기간 동안 LSTM, GRU, 순수한 GAN, ARIMA와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 재무 뉴스에서 유도된 감성 점수가 GAN 기반 주가 예측 모델의 성능 향상에 기여하는가?
• RQ2 감성 점수를 GAN 생성기의 잠재 벡터로 사용할 경우, 무작위 노이즈를 사용하는 것과 비교해 수렴 속도와 예측 정확도에서 어떤 차이가 있는가?
• RQ3 기술적 지표와 감성 분석의 융합이 기존 모델 대비 다중 수렴 기간 주가 예측 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 S-GAN 모델이 애플 인크. 주가 예측에서 LSTM, GRU, ARIMA와 같은 기존 모델을 초월하는가?
• RQ5 일일 종가 데이터와 감성 정보를 기반으로 실시간 또는 일일 거래 결정에 효과적으로 적용 가능한가?

주요 결과

• S-GAN 모델은 테스트 RMSE 1.827을 기록하여 순수한 GAN의 RMSE 2.369 대비 35% 감소한 결과를 보였다.
• 5일 수렴 기간에서 S-GAN은 RMSE 0.0122를 기록하여 ARIMA(0.121), LSTM(0.0196), GRU(0.01975), 순수한 GAN(0.0158)을 모두 앞섰다.
• 15일 수렴 기간에서 S-GAN은 RMSE 0.0366을 기록하여 ARIMA(0.3658), LSTM(0.0585), GRU(0.05925), GAN(0.0474)보다 유의미하게 낮았다.
• 30일 수렴 기간에서 S-GAN은 RMSE 0.0732를 기록하여, 감성 정보 없이 유사한 모델을 사용한 Zhang et al. (2019)의 결과보다 50% 낮은 RMSE를 기록했다.
• 감성 점수를 잠재 입력으로 포함시킴으로써 조기 수렴을 보였으며, 이는 감성이 시장 방향에 대한 유의미한 사전 정보를 제공함을 시사한다.
• 판별기의 적대적 학습 과정에서 실제 데이터와 생성된 데이터를 구분할 수 있었고, 이는 S-GAN 모델이 시장 트렌드를 잘 포착하고 현실적인 가격 시계열을 생성했음을 확인한다.