[論文レビュー] Financial Time Series Forecasting using CNN and Transformer

Zhen Zeng, Rachneet Kaur+4 more|arXiv (Cornell University)|Apr 11, 2023

Stock Market Forecasting Methods被引用数 23

ひとこと要約

本論文はCTTSというCNN-Transformerモデルを提案し、短期および長期の依存関係を捉えてイン日内の株価動向を予測します。S&P 500データ上でARIMA、EMA、DeepARを上回ります。

ABSTRACT

Time series forecasting is important across various domains for decision-making. In particular, financial time series such as stock prices can be hard to predict as it is difficult to model short-term and long-term temporal dependencies between data points. Convolutional Neural Networks (CNN) are good at capturing local patterns for modeling short-term dependencies. However, CNNs cannot learn long-term dependencies due to the limited receptive field. Transformers on the other hand are capable of learning global context and long-term dependencies. In this paper, we propose to harness the power of CNNs and Transformers to model both short-term and long-term dependencies within a time series, and forecast if the price would go up, down or remain the same (flat) in the future. In our experiments, we demonstrated the success of the proposed method in comparison to commonly adopted statistical and deep learning methods on forecasting intraday stock price change of S&P 500 constituents.

研究の動機と目的

• 金融時系列の正確な予測を、短期・長期の両方の依存性を捉えることで動機づける。
• 価格変動方向（上昇/下落/横ばい）を予測するためのCNN-Transformerベースのアーキテクチャを提案する。
• 実データのイン日内株価データに対して、従来の統計的手法およびディープラーニングのベースラインと性能を比較評価する。

提案手法

• データを最小最大スケーリングで前処理する。
• 局所的な短期パターンを1次元畳み込みを介してCNN生成トークンとして表現する。
• 位置埋め込みを組み込み、トークンをTransformerに通して長距離依存性を学習する。
• Transformerの出力をMLPとソフトマックスでエンコードし、3クラスのいずれか（上昇/下降/横ばい）を予測する。
• AdamWを用いてクロスエントロピー損失でGPU上で訓練する。

実験結果

リサーチクエスチョン

• RQ1 CNN-Transformerハイブリッドモデルは、金融時系列の短期・長期の依存性を効果的に捉えて価格動向の方向性を予測できるか。
• RQ2 CTTSはイン日内株データ上で伝統的な統計手法（ARIMA、EMA）および深層学習 autoregressive モデル（DeepAR）を上回るか。
• RQ3 モデルの予測確率が信頼でき、閾値ベースの高信頼性取引判断を可能にするか。

主な発見

• CTTSは2クラスおよび3クラスタスクの符号精度で全ベースラインを上回る。
• 閾値を適用した予測精度はすべてのモデルで改善され、CTTSが最大の改善を示す。
• CTTSは2クラスで56.7%、2クラス∗で66.8%、3クラスで44.1%、3クラス∗で55.2%の符号精度を達成し、ARIMA、EMA、DeepARより高い。
• CTTSの確率推定は信頼性があり、信頼度閾値を適用することで精度を向上させる。
• 本研究は2019年のS&P 500のイン日データを用い、予測クラスに基づく取引判断の可能性を示す。