[논문 리뷰] Transformer-Based Deep Learning Model for Stock Price Prediction: A Case Study on Bangladesh Stock Market

Tashreef Muhammad, Anika Bintee Aftab외 5명|arXiv (Cornell University)|2022. 08. 17.

Stock Market Forecasting Methods인용 수 9

한 줄 요약

이 논문은 니카 증권거래소(DSE)의 주가를 예측하기 위해 시간 기반 인코딩(Time2Vec)을 통합한 트랜스포머 기반 딥러닝 모델을 제안한다. 이는 역사적 일간 및 주간 데이터를 기반으로 하며, DSE에 상장된 8개 주식에 대해 낮은 RMSE와 MAE를 기록하여 단기 및 장기 투자 예측에서 뛰어난 성능과 잠재적 적용 가능성을 입증한다.

ABSTRACT

In modern capital market the price of a stock is often considered to be highly volatile and unpredictable because of various social, financial, political and other dynamic factors. With calculated and thoughtful investment, stock market can ensure a handsome profit with minimal capital investment, while incorrect prediction can easily bring catastrophic financial loss to the investors. This paper introduces the application of a recently introduced machine learning model - the Transformer model, to predict the future price of stocks of Dhaka Stock Exchange (DSE), the leading stock exchange in Bangladesh. The transformer model has been widely leveraged for natural language processing and computer vision tasks, but, to the best of our knowledge, has never been used for stock price prediction task at DSE. Recently the introduction of time2vec encoding to represent the time series features has made it possible to employ the transformer model for the stock price prediction. This paper concentrates on the application of transformer-based model to predict the price movement of eight specific stocks listed in DSE based on their historical daily and weekly data. Our experiments demonstrate promising results and acceptable root mean squared error on most of the stocks.

연구 동기 및 목표

• 다양한 시장 연구가 부족한 신흥 시장인 니카 증권거래소(DSE)에서 매우 변동성이 큰 주가를 예측하는 데 도전하는 것.
• 기존에 자연어처리와 비전 분야에서 우세했던 트랜스포머 아키텍처가 신흥 경제권의 시계열 주가 예측에 적용 가능한지 탐색하는 것.
• 순차적 주가 데이터의 시간적 의존성을 효과적으로 표현하기 위해 Time2Vec 위치 인코딩을 통합하는 것.
• 일간 및 주간 역사적 데이터를 기반으로 한 성능 평가를 통해 모델의 강건성과 확장성 확보.
• 붕가데시의 연구가 부족한 금융 시장에서도 어텐션 기반 모델이 신뢰할 수 있는 예측을 도출할 수 있음을 입증하는 것.

제안 방법

• 모델는 주가 시계열에서 장거리 의존성을 포착하기 위해 다중 헤드 자기주의를 활용한 표준 트랜스포머 인코더 아키텍처를 사용한다.
• 시간 정보를 입력 임bedding에 통합하기 위해 Time2Vec 위치 인코딩을 적용하여 절대 시간 인덱스에 의존하지 않고도 시간 패턴을 학습할 수 있도록 한다.
• 입력 데이터는 DSE에 상장된 8개 주식의 역사적 일간 및 주간 종가 가격으로 구성되며, 정규화 및 정상성 기법을 통해 사전 처리된다.
• 다음 날 또는 주의 종가를 예측하는 회귀 과제로 학습되며, 손실 함수로 평균 제곱오차(MSE)와 평균 절대오차(MAE)를 사용한다.
• 일반화를 보장하기 위해 훈련, 검증, 테스트 데이터로 별도의 분할을 수행하고 최적 성능을 위한 하이퍼파ram터 튜닝을 포함한다.
• 테스트 세트에서 RMSE와 MAE 지표를 사용해 모델 성능을 평가하며, 예측된 가격과 실제 가격 간의 시각적 비교를 수행한다.

Figure 1: Distribution of the EOD closing price of a selected stock, namely AGRANINS

실험 결과

연구 질문

• RQ1 Time2Vec 인코딩을 통합한 트랜스포머 기반 모델은 니카 증권거래소에서 주가 움직임을 효과적으로 예측할 수 있는가?
• RQ2 DSE 환경에서 일간과 주간 시간 해상도 간에 모델의 성능은 어떻게 달라지는가?
• RQ3 정점과 변동성과 같은 데이터 특성이 훈련 오차와 검증/테스트 오차 간의 분리에 미치는 영향은 무엇인가?
• RQ4 어떤 정도로 어텐션 메커니즘이 저주파수, 신흥 시장 주가 데이터에서 의미 있는 시간 패턴을 포착할 수 있는가?
• RQ5 가격 행동과 시가총액이 다양한 주식 간에서 일반화 성능이 뛰어나게 유지되는가?

주요 결과

• 테스트 세트에서 낮은 RMSE 값을 기록하였으며, 일간 데이터 기준 1JANATAMF의 RMSE는 6.59×10⁻², AAMRANET의 RMSE는 1.02×10⁻¹로 높은 예측 정확도를 보였다.
• 주간 데이터 기준으로도 낮은 오차율을 유지하였으며, 1JANATAMF의 RMSE는 7.70×10⁻², AAMRANET의 RMSE는 1.72×10⁻¹로 시간 범위에 관계없이 일관된 성능을 보였다.
• 시각적 분석 결과 대부분의 주식(예: ACI, ACIFORMULA, DELTALIFE)에서 예측 가격이 실제 가격과 거의 겹치며 대부분의 경우 최소한의 편차를 보였다.
• 일부 주식(예: DELTALIFE)의 경우 훈련 오차가 검증/테스트 오차보다 높게 나타났는데, 이는 검증 데이터에는 존재하지 않는 훈련 세트 내의 극단적 정점과 골짜기가 원인으로 분석되었다.
• 모델는 변동성이 큰 시장 움직임 동안에도 실제 값에 가까운 예측을 유지하며 강건성과 일반화 능력을 입증하였으며, 확대된 시각화를 통해 확인되었다.
• 결과적으로 Time2Vec와 트랜스포머의 통합은 자료가 부족한 신흥 시장에서도 금융 시계열의 시간 동적 특성을 효과적으로 모델링할 수 있음을 시사한다.

Figure 2: Closing price of a selected Stock, namely AGRANINS over a time window of around eight years