[논문 리뷰] Attention-based CNN-LSTM and XGBoost hybrid model for stock prediction

Zhuangwei Shi, Hu Yang외 2명|arXiv (Cornell University)|2022. 04. 06.

Stock Market Forecasting MethodsDecision Sciences인용 수 19

한 줄 요약

이 논문은 주가 예측을 위한 어텐션 기반 CNN-LSTM와 XGBoost를 융합한 AttCLX 하이브리드 모델을 제안한다. ARIMA 전처리를 거친 후, 어 attention 기반 CNN-LSTM가 순차적 특징을 추출하고 XGBoost가 예측을 보정하는 전훈련-세부조정 프레임워크를 적용하여 중국 주가 데이터에서 RMSE 0.01424와 R² 0.88342를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Stock market plays an important role in the economic development. Due to the complex volatility of the stock market, the research and prediction on the change of the stock price, can avoid the risk for the investors. The traditional time series model ARIMA can not describe the nonlinearity, and can not achieve satisfactory results in the stock prediction. As neural networks are with strong nonlinear generalization ability, this paper proposes an attention-based CNN-LSTM and XGBoost hybrid model to predict the stock price. The model constructed in this paper integrates the time series model, the Convolutional Neural Networks with Attention mechanism, the Long Short-Term Memory network, and XGBoost regressor in a non-linear relationship, and improves the prediction accuracy. The model can fully mine the historical information of the stock market in multiple periods. The stock data is first preprocessed through ARIMA. Then, the deep learning architecture formed in pretraining-finetuning framework is adopted. The pre-training model is the Attention-based CNN-LSTM model based on sequence-to-sequence framework. The model first uses convolution to extract the deep features of the original stock data, and then uses the Long Short-Term Memory networks to mine the long-term time series features. Finally, the XGBoost model is adopted for fine-tuning. The results show that the hybrid model is more effective and the prediction accuracy is relatively high, which can help investors or institutions to make decisions and achieve the purpose of expanding return and avoiding risk. Source code is available at https://github.com/zshicode/Attention-CLX-stock-prediction.

연구 동기 및 목표

• 기존 ARIMA 모델이 비선형 주가 동적 변화를 포착하는 데 한계가 있음을 해결하기 위해.
• 딥 러닝과 기울기 부스팅 트리의 융합을 통해 예측 정확도를 향상시키기 위해.
• 어텐션 메커니즘과 시퀀스 투 시퀀스 모델링을 활용해 금융 시계열에서의 장기 의존성 학습을 향상시키기 위해.
• 실제 주가 데이터를 기반으로 CNN-LSTM과 XGBoost를 융합한 전훈련-세부조정 프레임워크의 효과를 검증하기 위해.
• 변동성이 높은 시장에서 수익을 극대화하고 리스크를 최소화하고자 하는 투자자들을 위한 강력한 의사결정 지원 도구를 제공하기 위해.

제안 방법

• 모델은 주가 시계열의 안정성과 추세 제거를 위해 ARIMA(p=2, q=0, d=1)를 사용해 초도 전처리를 수행한다.
• 전훈련 단계에서는 어텐션 기반 CNN-LSTM 모델을 시퀀스 투 시퀀스 프레임워크 내에 적용하여, CNN이 다중 척도의 깊은 특징을 추출하고 BiLSTM가 장기적 시간 의존성을 복원한다.
• 어텐션 메커니즘은 장기간의 시퀀스에서 관련된 이전 패턴에 집중함으로써 특징 표현을 향상시킨다.
• 세부조정 단계에서는 ARIMA의 잔차 시퀀스를 기반으로 XGBoost 회귀기로 세부 조정을 수행하여 앙상블 학습을 통해 최종 예측 정확도를 향상시킨다.
• 하이브리드 아키텍처는 딥 네URAL 네트워크의 비선형 모델링 능력과 기울기 부스팅 트리의 강건성 및 해석 가능성의 장점을 융합한다.
• 전체 프레임워크는 전훈련-세부조정 파라다임을 따르며, 특징 추출과 최종 회귀 성능 최적화를 동시에 달성한다.

실험 결과

연구 질문

• RQ1 표준 RNN과 비교해 어텐션 기반 CNN-LSTM 모델이 주가 시계열의 복잡한 비선형 패턴을 효과적으로 포착할 수 있는가?
• RQ2 ARIMA 및 딥 러닝 모델의 잔차 시퀀스에 대해 XGBoost를 통한 세부조정을 통합함으로써 예측 정확도가 유의미하게 향상되는가?
• RQ3 MAE, RMSE, R² 지표에서 제안된 AttCLX 모델은 ARIMA-NN, LSTM-KF, Transformer-KF와 같은 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ4 전훈련-세부조정 프레임워크가 금융 시계열 예측에서 특징 학습과 일반화 능력을 얼마나 향상시키는가?
• RQ5 하이브리드 모델이 실제 주가 데이터에서 예측 오차를 효과적으로 줄이고 R²를 높일 수 있으며, 강건성을 유지할 수 있는가?

주요 결과

• AttCLX 모델은 비교된 모든 모델 중에서 가장 낮은 RMSE 0.01424와 가장 높은 R² 0.88342를 기록하여 ARIMA, ARIMA-NN, LSTM-KF, Transformer-KF를 모두 능가했다.
• 모델의 MAE 0.01126과 MAPE 0.01126는 중국 주가 데이터셋(601988.SH)에서 주가 움직임 예측의 높은 정밀도를 나타낸다.
• 전훈련-세부조정 프레임워크는 성능 향상에 기여했으며, ARIMA의 잔차 시퀀스에 대해 XGBoost로 세부 조정하는 것이 엔드 투 엔드 학습보다 더 좋은 결과를 도출했다.
• 어텐션 기반 CNN-LSTM 인코더-디코더 아키텍처는 장기 의존성을 효과적으로 모델링했고, 주가 시퀀스의 국소적 및 전반적 패턴을 모두 포착했다.
• BiLSTM-XGBoost 및 CNN-BiLSTM-XGBoost와 같은 고급 모델조차도 AttCLX 모델이 뛰어난 성능을 보이며 어텐션 강화 특징 추출의 우수성을 입증했다.
• AttCLX 모델의 손실 곡선(그림 16)은 안정적인 수렴을 보여주며 신뢰할 수 있는 학습 동역학과 강건한 일반화 능력을 시사한다.