[論文レビュー] Prediction of financial time series using LSTM and data denoising methods

Qi Tang, Tongmei Fan+3 more|arXiv (Cornell University)|Mar 5, 2021

Stock Market Forecasting Methods参考文献 6被引用数 11

ひとこと要約

本稿では、ウェーブレット変換（WT）および特異スペクトル分析（SSA）を組み合わせたハイブリッドLSTMモデルを提案し、高周波度金融時系列のノイズ除去を目的としている。DJIA終値を分解・再構成することでノイズを除去し、WT-LSTMモデルは標準LSTMに比べて予測精度と一般化性能が著しく向上し、短・中・長期の予測期間（1h, 3h, 6h）においてLSTMおよびSSA-LSTMを上回る性能を示した。

ABSTRACT

In order to further overcome the difficulties of the existing models in dealing with the non-stationary and nonlinear characteristics of high-frequency financial time series data, especially its weak generalization ability, this paper proposes an ensemble method based on data denoising methods, including the wavelet transform (WT) and singular spectrum analysis (SSA), and long-term short-term memory neural network (LSTM) to build a data prediction model, The financial time series is decomposed and reconstructed by WT and SSA to denoise. Under the condition of denoising, the smooth sequence with effective information is reconstructed. The smoothing sequence is introduced into LSTM and the predicted value is obtained. With the Dow Jones industrial average index (DJIA) as the research object, the closing price of the DJIA every five minutes is divided into short-term (1 hour), medium-term (3 hours) and long-term (6 hours) respectively. . Based on root mean square error (RMSE), mean absolute error (MAE), mean absolute percentage error (MAPE) and absolute percentage error standard deviation (SDAPE), the experimental results show that in the short-term, medium-term and long-term, data denoising can greatly improve the accuracy and stability of the prediction, and can effectively improve the generalization ability of LSTM prediction model. As WT and SSA can extract useful information from the original sequence and avoid overfitting, the hybrid model can better grasp the sequence pattern of the closing price of the DJIA. And the WT-LSTM model is better than the benchmark LSTM model and SSA-LSTM model.

研究の動機と目的

• 高周波度金融時系列における定常性の欠如および非線形性の課題に対処すること。
• ノイズの多い金融データに過剰適合しやすいLSTMモデルの一般化能力を向上させること。
• データノイズ除去技術（ウェーブレット変換（WT）および特異スペクトル分析（SSA））が、LSTMベースの予測性能を向上させる有効性を評価すること。
• ノイズ除去とディープラーニングを統合したハイブリッドモデルを構築・検証し、強固な金融予測を実現すること。
• 短・中・長期の複数の時間枠（1h, 3h, 6h）において、WT-LSTM、SSA-LSTM、および標準LSTMの性能を比較すること。

提案手法

• 元のDJIA終値時系列をウェーブレット変換（WT）により近似係数および詳細係数に分解する。
• 特異スペクトル分析（SSA）を用いて時系列をトレンド成分、振動成分、ノイズ成分に分解する。
• WTおよびSSAの分解結果から顕著な成分を適切に選別し、ノイズ除去された信号を再構成する。
• ノイズ除去済みで滑らかな時系列を、長短期記憶（LSTM）ニューラルネットワークに供給し、時系列予測を実行する。
• ノイズ除去済みの時系列を用いてLSTMモデルを学習させ、短・中・長期の予測期間における将来の終値を予測する。
• ハイパーパramータチューニングを用いてモデル性能を最適化し、RMSE、MAE、MAPE、SDAPEの指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 WTおよびSSAによるデータノイズ除去は、高周波度金融時系列におけるLSTMモデルの予測精度を向上させるか？
• RQ2 予測誤差および安定性の観点から、WT-LSTMモデルは標準LSTMおよびSSA-LSTMモデルに比べて優れているか？
• RQ3 ノイズ除去は、非定常的かつ非線形な金融データにおけるLSTMモデルの一般化能力を向上させるか？
• RQ4 LSTMと組み合わせた場合、ノイズ除去手法としてWTとSSAのどちらがより優れた性能を発揮するか？
• RQ5 ノイズ除去された入力を用いた場合、予測誤差は1h, 3h, 6hといった異なる時間枠でどのように変化するか？

主な発見

• WTおよびSSAによるデータノイズ除去は、すべての時間枠（1h, 3h, 6h）において標準LSTMに比べて予測精度を顕著に向上させる。
• WT-LSTMモデルは、RMSE、MAE、MAPEの値が最低となり、ベースラインLSTMおよびSSA-LSTMモデルを上回る性能を示した。
• WT-LSTMモデルは、絶対誤差の平均偏差（SDAPE）を低減させ、予測の安定性が向上していることを示した。
• ノイズ除去により、ノイズの多いデータへの過剰適合を低減させることで、LSTMモデルの一般化能力が向上した。
• WTおよびSSAの両手法が、元のDJIA時系列から有用な信号成分を効果的に抽出し、重要な価格パターンを保持していた。
• ハイブリッドWT-LSTMアプローチは、長期トレンドおよび短期的フラクチュエーションの両方を捉える上で優れたロバスト性と一貫性を示した。