[论文解读] Attention-based CNN-LSTM and XGBoost hybrid model for stock prediction

Zhuangwei Shi, Hu Yang+2 more|arXiv (Cornell University)|Apr 6, 2022

Stock Market Forecasting MethodsDecision Sciences被引用 19

一句话总结

本文提出了一种AttCLX混合模型，结合基于注意力的CNN-LSTM与XGBoost，用于股票价格预测。该方法采用ARIMA预处理，随后应用预训练-微调框架：基于注意力的CNN-LSTM捕捉序列特征，XGBoost进一步优化预测结果，在中国股票数据上实现了SOTA性能，RMSE为0.01424，R²为0.88342。

ABSTRACT

Stock market plays an important role in the economic development. Due to the complex volatility of the stock market, the research and prediction on the change of the stock price, can avoid the risk for the investors. The traditional time series model ARIMA can not describe the nonlinearity, and can not achieve satisfactory results in the stock prediction. As neural networks are with strong nonlinear generalization ability, this paper proposes an attention-based CNN-LSTM and XGBoost hybrid model to predict the stock price. The model constructed in this paper integrates the time series model, the Convolutional Neural Networks with Attention mechanism, the Long Short-Term Memory network, and XGBoost regressor in a non-linear relationship, and improves the prediction accuracy. The model can fully mine the historical information of the stock market in multiple periods. The stock data is first preprocessed through ARIMA. Then, the deep learning architecture formed in pretraining-finetuning framework is adopted. The pre-training model is the Attention-based CNN-LSTM model based on sequence-to-sequence framework. The model first uses convolution to extract the deep features of the original stock data, and then uses the Long Short-Term Memory networks to mine the long-term time series features. Finally, the XGBoost model is adopted for fine-tuning. The results show that the hybrid model is more effective and the prediction accuracy is relatively high, which can help investors or institutions to make decisions and achieve the purpose of expanding return and avoiding risk. Source code is available at https://github.com/zshicode/Attention-CLX-stock-prediction.

研究动机与目标

• 解决传统ARIMA模型在捕捉非线性股票价格动态方面的局限性。
• 通过在混合架构中整合深度学习与梯度提升树，提升预测精度。
• 利用注意力机制与序列到序列建模，增强金融时间序列中的长期依赖学习能力。
• 验证预训练-微调框架在真实股票数据上结合CNN-LSTM与XGBoost的有效性。
• 为投资者提供一种稳健的决策支持工具，以在波动市场中最大化收益并最小化风险。

提出的方法

• 模型使用ARIMA(p=2, q=0, d=1)对股票价格序列进行初始预处理，以稳定数据并去除趋势。
• 预训练阶段在序列到序列框架内采用基于注意力的CNN-LSTM模型，其中CNN提取多尺度深层特征，BiLSTM解码长期时间依赖关系。
• 注意力机制使模型能够聚焦于长序列中的相关历史模式，从而改善特征表示。
• 通过在ARIMA的残差序列上使用XGBoost回归器进行微调，利用集成学习提升最终预测精度。
• 混合架构结合了深度神经网络的非线性建模能力与梯度提升树的稳健性与可解释性。
• 整个框架遵循预训练-微调范式，同时优化特征提取与最终回归性能。

实验结果

研究问题

• RQ1 与标准RNN相比，基于注意力的CNN-LSTM模型是否能有效捕捉股票价格序列中的复杂非线性模式？
• RQ2 将XGBoost用于ARIMA和深度学习模型残差序列的微调，是否能显著提升预测精度？
• RQ3 在MAE、RMSE和R²指标上，所提出的AttCLX模型与ARIMA-NN、LSTM-KF和Transformer-KF等SOTA方法相比表现如何？
• RQ4 预训练-微调框架在金融时间序列预测中，对特征学习与泛化能力的提升程度如何？
• RQ5 该混合模型是否能有效降低预测误差并提高R²，同时在真实股票数据上保持稳健性？

主要发现

• AttCLX模型在所有对比模型中实现了最低的RMSE（0.01424）和最高的R²（0.88342），优于ARIMA、ARIMA-NN、LSTM-KF和Transformer-KF。
• 模型的MAE为0.01126，MAPE为0.01126，表明其在中国股票（601988.SH）数据集上对股价走势预测具有高精度。
• 预训练-微调框架显著提升了性能，XGBoost在残差序列上微调的效果优于端到端训练。
• 基于注意力的CNN-LSTM编码器-解码器架构有效建模了长期依赖关系，并捕捉到股票序列中的局部与全局模式。
• AttCLX模型甚至优于BiLSTM-XGBoost和CNN-BiLSTM-XGBoost等先进模型，证明了注意力增强特征提取的优越性。
• AttCLX模型的损失曲线（图16）显示稳定收敛，表明训练动态可靠且泛化能力强。