[論文レビュー] Attention-based CNN-LSTM and XGBoost hybrid model for stock prediction

Zhuangwei Shi, Hu Yang+2 more|arXiv (Cornell University)|Apr 6, 2022

Stock Market Forecasting MethodsDecision Sciences被引用数 19

ひとこと要約

本稿では、注目メカニズムを備えたCNN-LSTMとXGBoostを組み合わせたAttCLXハイブリッドモデルを提案し、株価予測に用いる。ARIMAによる前処理の後、事前学習・微調整フレームワークを採用し、注目メカニズムを備えたCNN-LSTMが逐次的特徴を捉え、XGBoostが予測を精緻化する。中国株式市場データにおいて、RMSE 0.01424、R² 0.88342の最先端性能を達成した。

ABSTRACT

Stock market plays an important role in the economic development. Due to the complex volatility of the stock market, the research and prediction on the change of the stock price, can avoid the risk for the investors. The traditional time series model ARIMA can not describe the nonlinearity, and can not achieve satisfactory results in the stock prediction. As neural networks are with strong nonlinear generalization ability, this paper proposes an attention-based CNN-LSTM and XGBoost hybrid model to predict the stock price. The model constructed in this paper integrates the time series model, the Convolutional Neural Networks with Attention mechanism, the Long Short-Term Memory network, and XGBoost regressor in a non-linear relationship, and improves the prediction accuracy. The model can fully mine the historical information of the stock market in multiple periods. The stock data is first preprocessed through ARIMA. Then, the deep learning architecture formed in pretraining-finetuning framework is adopted. The pre-training model is the Attention-based CNN-LSTM model based on sequence-to-sequence framework. The model first uses convolution to extract the deep features of the original stock data, and then uses the Long Short-Term Memory networks to mine the long-term time series features. Finally, the XGBoost model is adopted for fine-tuning. The results show that the hybrid model is more effective and the prediction accuracy is relatively high, which can help investors or institutions to make decisions and achieve the purpose of expanding return and avoiding risk. Source code is available at https://github.com/zshicode/Attention-CLX-stock-prediction.

研究の動機と目的

• 従来のARIMAモデルが非線形な株価動態を捉えきれないという限界を是正すること。
• 深層学習と勾配ブースティングツリーをハイブリッドアーキテクチャで統合することで、予測精度を向上させること。
• 注目メカニズムとシーケンス・ツー・シーケンスモデリングを活用し、金融時系列における長期依存関係の学習を強化すること。
• 事前学習・微調整フレームワークが、CNN-LSTMとXGBoostを組み合わせた実世界の株式データに与える有効性を検証すること。
• 変動が激しい市場においてリターンを最大化し、リスクを最小化する目的で投資家が利用できる堅牢な意思決定支援ツールを提供すること。

提案手法

• 株価時系列の初期前処理として、ARIMA(p=2, q=0, d=1)を用い、安定化とトレンド除去を実施する。
• 事前学習フェーズでは、シーケンス・ツー・シーケンスフレームワーク内に注目メカニズムを備えたCNN-LSTMモデルを採用し、CNNがマルチスケールの深層特徴を抽出し、BiLSTMが長期的な時系列依存関係を復元する。
• 注目メカニズムにより、長期間にわたるシーケンス全体にわたり関連する歴史的パターンに焦点を当てられ、特徴表現が向上する。
• 微調整フェーズでは、ARIMAの残差時系列を入力としてXGBoost回帰器を用い、アンサンブル学習により最終的な予測精度を向上させる。
• ハイブリッドアーキテクチャは、深層ニューラルネットワークの非線形モデリング能力と、勾配ブースティングツリーのロバスト性および解釈可能性を統合する。
• 全体のフレームワークは、事前学習・微調整パラダイムに従い、特徴抽出と最終的回帰性能の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを備えたCNN-LSTMモデルは、標準的なRNNと比較して、株価時系列の複雑な非線形パターンを効果的に捉えられるか？
• RQ2 ARIMAと深層学習モデルの残差時系列に対してXGBoostを用いた微調整を組み込むことで、予測精度が顕著に向上するか？
• RQ3 MAE、RMSE、R²の指標において、提案されたAttCLXモデルはARIMA-NN、LSTM-KF、Transformer-KFといった最先端手法と比較してどのように差をつけるか？
• RQ4 事前学習・微調整フレームワークは、金融時系列予測における特徴学習と一般化性能をどの程度向上させるか？
• RQ5 ハイブリッドモデルは、実世界の株式データにおいて、予測誤差を効果的に低減し、R²を向上させつつ、ロバスト性を維持できるか？

主な発見

• AttCLXモデルは、比較対象の全モデルの中で最小のRMSE 0.01424と最大のR² 0.88342を達成し、ARIMA、ARIMA-NN、LSTM-KF、Transformer-KFを上回った。
• MAE 0.01126およびMAPE 0.01126という数値は、中国株式（601988.SH）データセットにおける株価動向予測の高精度性を示している。
• 事前学習・微調整フレームワークは性能向上に顕著な効果を示し、ARIMAの残差時系列をXGBoostで微調整することで、エンド・ツー・エンド学習よりも優れた結果が得られた。
• 注目メカニズムを備えたCNN-LSTMエンコーダ・デコーダアーキテクチャは、長期依存関係を効果的にモデル化し、株価時系列における局所的およびグローバルなパターンを捉えていた。
• BiLSTM-XGBoost や CNN-BiLSTM-XGBoost といった高度なモデルですら下回る性能を示し、注目強化型特徴抽出の優位性を実証した。
• AttCLXモデルの損失曲線（図16）は安定した収束を示しており、信頼性の高い学習ダイナミクスと強固な一般化性能を示している。