[논문 리뷰] Stock and market index prediction using Informer network

Yuze Lu, Hailong Zhang외 1명|arXiv (Cornell University)|2023. 05. 22.

Stock Market Forecasting Methods인용 수 8

한 줄 요약

본 논문은 ProbSparse 자기-주의, 자기-주의 증류, 및 전역 시점 타임스탬프 특징을 갖춘 Transformer 기반 네트워크 Informer를 도입하여 분 단위 주가를 예측하고, 다수의 데이터셋에서 LSTM, Transformer, 및 BERT보다 우수한 정확도를 보이며 전이 학습 능력을 시연한다.

ABSTRACT

Applications of deep learning in financial market prediction has attracted huge attention from investors and researchers. In particular, intra-day prediction at the minute scale, the dramatically fluctuating volume and stock prices within short time periods have posed a great challenge for the convergence of networks result. Informer is a more novel network, improved on Transformer with smaller computational complexity, longer prediction length and global time stamp features. We have designed three experiments to compare Informer with the commonly used networks LSTM, Transformer and BERT on 1-minute and 5-minute frequencies for four different stocks/ market indices. The prediction results are measured by three evaluation criteria: MAE, RMSE and MAPE. Informer has obtained best performance among all the networks on every dataset. Network without the global time stamp mechanism has significantly lower prediction effect compared to the complete Informer; it is evident that this mechanism grants the time series to the characteristics and substantially improves the prediction accuracy of the networks. Finally, transfer learning capability experiment is conducted, Informer also achieves a good performance. Informer has good robustness and improved performance in market prediction, which can be exactly adapted to real trading.

연구 동기 및 목표

• highly volatile 분 단위 거래량 및 가격 변화가 존재하는 상황에서의 당일 내 주가 예측을 추진한다.
• 1분 및 5분 데이터에서 LSTM, Transformer, BERT와 같은 인기 있는 아키텍처에 대한 Informer의 성능을 평가한다.
• 예측 정확도에 대한 글로벌 타임스탬프 임베딩의 영향을 탐구한다.
• 시장, 시간 척도 및 자산 간 Informer의 전이 학습 capabilities를 시연한다.

제안 방법

• ProbSparse 자기-주의로 복잡도를 O(L^2)에서 O(L log L)로 감소시키는 개선된 Transformer인 Informer를 채택한다.
• 시퀀스 길이를 점차 축소하고 메모리를 절약하기 위해 자기-주의 증류를 도입한다.
• 가이딩 시퀀스를 사용하여 전체 미래 시퀀스를 한 번에 출력하는 생성적 추론 방식을 사용한다.
• 분 단위(년,월,주,시,분) 맥락을 포착하기 위한 글로벌 타임스탬프 임베딩을 추가한다.
• HSI, IXIC, Tencent, 및 AAPL의 1분 및 5분 데이터로 Informer를 LSTM, Transformer, 및 BERT와 비교하여 학습 및 평가한다.
• 70/10/20 학습/검증/테스트 분할을 사용하여 MAE, RMSE, 및 MAPE로 평가한다.

실험 결과

연구 질문

• RQ1 Informer가 분 단위 주가 및 지수 예측에서 LSTM, Transformer, BERT를 능가하는가?
• RQ2 ProbSparse 자기-주의가 짧은 기간 예측 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 전환이 활발한 내부일(period) 동안 글로벌 타임 스탬프 도입이 예측 성능에 미치는 영향은 무엇인가?
• RQ4 Informer가 서로 다른 시장, 자산 및 시간 규모 간에 전이 학습의 효과를 보이는가?

주요 결과

• Informer는 MAE, RMSE, 및 MAPE 측면에서 LSTM, Transformer, 및 BERT와 비교하여 모든 데이터셋 및 시간 규모에서 최상의 성능을 달성한다.
• 전역 타임스탬프 임베딩은 변동성이 큰 intraday 기간에 위치 기반 임베딩만 사용하는 경우보다 예측 정확도를 크게 향상시킨다.
• 전역 타임스탬프를 제거(Informer�)하면 특히 활발한 거래 데이터셋에서 성능이 저하된다.
• AAPL에서 미리 학습된 가중치를 HSI, IXIC, Tencent에 적용해도 전이 학습 능력이 나타나며 시장 간 차이가 있어도 예측 정확도가 양호하다.
• 전반적으로 Informer는 강건성과 단기 예측의 우수성을 보여 실제 거래에 적합하다.