[논문 리뷰] Financial Time Series Forecasting using CNN and Transformer

Zhen Zeng, Rachneet Kaur외 4명|arXiv (Cornell University)|2023. 04. 11.

Stock Market Forecasting Methods인용 수 23

한 줄 요약

이 논문은 CTTS를 제안한다. 이는 단기 및 장기 의존성을 포착하여 장중 주가 움직임을 예측하는 CNN-Transformer 모델로, S&P 500 데이터에서 ARIMA, EMA, DeepAR보다 성능이 우수하다.

ABSTRACT

Time series forecasting is important across various domains for decision-making. In particular, financial time series such as stock prices can be hard to predict as it is difficult to model short-term and long-term temporal dependencies between data points. Convolutional Neural Networks (CNN) are good at capturing local patterns for modeling short-term dependencies. However, CNNs cannot learn long-term dependencies due to the limited receptive field. Transformers on the other hand are capable of learning global context and long-term dependencies. In this paper, we propose to harness the power of CNNs and Transformers to model both short-term and long-term dependencies within a time series, and forecast if the price would go up, down or remain the same (flat) in the future. In our experiments, we demonstrated the success of the proposed method in comparison to commonly adopted statistical and deep learning methods on forecasting intraday stock price change of S&P 500 constituents.

연구 동기 및 목표

• 금융 시계열의 단기 의존성과 장기 의존성을 모두 포착함으로써 정확한 예측을 유도한다.
• CNN-Transformer 기반 아키텍처를 제안하여 가격 움직임의 방향(상승/하락/정체)을 예측한다.
• 실제 장중 주가 데이터에서 통계적 및 딥러닝 baselines와 성능을 평가한다.

제안 방법

• 데이터를 최소-최대 스케일링으로 전처리한다.
• 로컬 단기 패턴을 1D 합성곱을 통해 CNN이 생성한 토큰으로 표현한다.
• 위치 임베딩을 도입하고 토큰을 Transformer에 통과시켜 장거리 의존성을 학습한다.
• Transformer 출력을 MLP와 softmax로 인코딩하여 세 가지 클래스(상승/하락/정체) 중 하나를 예측한다.
• AdamW를 사용한 교차 엔트로피 손실로 GPU에서 학습한다.

실험 결과

연구 질문

• RQ1 CNN-Transformer 하이브리드 모델이 금융 시계열에서 단기 및 장기 의존성을 모두 효과적으로 포착하여 가격 움직임 방향을 예측할 수 있는가?
• RQ2 CTTS가 intraday 주가 데이터에서 전통적 통계 방법(ARIMA, EMA)과 딥러닝 자기회귀 모델(DeepAR)보다 성능이 우수한가?
• RQ3 모델의 예측 확률이 임계값 기반의 고신뢰도 거래 결정에 충분히 신뢰할 수 있는가?

주요 결과

• CTTS가 2클래스 및 3클래스 작업에서 모든 기준선 대비 부호 정확도에서 우수했다.
• 임계값이 적용된 예측 정확도가 모든 모델에서 향상되었으며, CTTS가 가장 큰 이점을 보였다.
• CTTS의 부호 정확도는 2클래스에서 56.7%, 2-class ∗에서 66.8%, 3-class에서 44.1%, 3-class ∗에서 55.2%로 ARIMA, EMA, DeepAR보다 높다.
• CTTS의 확률 추정은 신뢰할 수 있어, 신뢰도 임계치를 적용할 때 더 높은 정확도를 달성한다.
• 연구는 2019년부터의 S&P 500의 장중 데이터를 사용하고 예측 클래스에 기반한 거래 결정의 가능성을 보여준다.