[論文レビュー] Stock and market index prediction using Informer network

Yuze Lu, Hailong Zhang+1 more|arXiv (Cornell University)|May 22, 2023

Stock Market Forecasting Methods被引用数 8

ひとこと要約

The paper introduces Informer, a Transformer-based network with ProbSparse self-attention, self-attention distilling, and global time stamp features to predict minute-scale stock prices, showing superior accuracy over LSTM, Transformer, and BERT across multiple datasets and demonstrating transfer learning capabilities.

ABSTRACT

Applications of deep learning in financial market prediction has attracted huge attention from investors and researchers. In particular, intra-day prediction at the minute scale, the dramatically fluctuating volume and stock prices within short time periods have posed a great challenge for the convergence of networks result. Informer is a more novel network, improved on Transformer with smaller computational complexity, longer prediction length and global time stamp features. We have designed three experiments to compare Informer with the commonly used networks LSTM, Transformer and BERT on 1-minute and 5-minute frequencies for four different stocks/ market indices. The prediction results are measured by three evaluation criteria: MAE, RMSE and MAPE. Informer has obtained best performance among all the networks on every dataset. Network without the global time stamp mechanism has significantly lower prediction effect compared to the complete Informer; it is evident that this mechanism grants the time series to the characteristics and substantially improves the prediction accuracy of the networks. Finally, transfer learning capability experiment is conducted, Informer also achieves a good performance. Informer has good robustness and improved performance in market prediction, which can be exactly adapted to real trading.

研究の動機と目的

• Highly volatile な分単位の量と価格変動を踏まえた intraday 株価予測を動機づける。
• 1分および5分データに対して、Informer の性能を LSTM、Transformer、BERT などの人気アーキテクチャと比較して評価する。
• 予測精度に対するグローバル・タイムスタンプ埋め込みの影響を検討する。
• 市場・時間スケール・資産をまたぐ Informer の転移学習能力を実証する。

提案手法

• ProbSparse self-attention により複雑さを O(L^2) から O(L log L) に削減する、Informer を採用する。
• 自己アテンション蒸留を組み込み、逐次長を段階的に削減してメモリを節約する。
• ガイドとなるシーケンスを用いて、将来の全シーケンスを一度に出力する生成的推論アプローチを採用する。
• 分単位の時系列文脈を捕捉するため、グローバルなタイムスタンプ埋め込みを追加する（年、月、週、時、分）。
• HSI、IXIC、Tencent、および AAPL の1分・5分データを用いて Informer を LSTM、Transformer、BERT と比較・訓練する。
• 評価指標として MAE、RMSE、MAPE を、70/10/20 の訓練/検証/テスト分割で用いる。

実験結果

リサーチクエスチョン

• RQ1 Informer は minute-scale の株価・市場指数予測で LSTM、Transformer、BERT を上回るのか？
• RQ2 ProbSparse self-attention は短期的な予測精度と計算効率にどのような影響を与えるのか？
• RQ3 グローバルタイムスタンプの導入は、ボラティリティの高い intraday 期間の予測性能にどのような影響を与えるのか？
• RQ4 Informer は市場・資産・時間スケールを跨いだ転移学習の有効性を示せるのか？

主な発見

• Informer は MAE、RMSE、MAPE のすべてのデータセット・時間スケールで、LSTM、Transformer、BERT と比較して最良の性能を達成した。
• グローバルタイムスタンプ埋め込みは、位置埋め込みのみを用いた場合と比べて、ボラティリティの高い intraday 期間の予測精度を大幅に改善する。
• グローバルタイムスタンプを取り除く（Informer‑）と、特に活発な取引データセットで性能が劣化する。
• Informer は、AAPL で事前学習した重みを HSI、IXIC、Tencent に適用しても、クロスマーケットの違いにもかかわらず合理的な予測精度を示す転移学習能力を示す。
• 総じて、Informer は robust かつ実取引に適した短期予測能力を有する。