[论文解读] Financial Time Series Forecasting using CNN and Transformer

Zhen Zeng, Rachneet Kaur+4 more|arXiv (Cornell University)|Apr 11, 2023

Stock Market Forecasting Methods被引用 23

一句话总结

本文提出 CTTS，是一种 CNN-Transformer 模型，能够捕捉短期和长期依赖，以预测日内股票价格运动，在 S&P 500 数据上优于 ARIMA、EMA 和 DeepAR。

ABSTRACT

Time series forecasting is important across various domains for decision-making. In particular, financial time series such as stock prices can be hard to predict as it is difficult to model short-term and long-term temporal dependencies between data points. Convolutional Neural Networks (CNN) are good at capturing local patterns for modeling short-term dependencies. However, CNNs cannot learn long-term dependencies due to the limited receptive field. Transformers on the other hand are capable of learning global context and long-term dependencies. In this paper, we propose to harness the power of CNNs and Transformers to model both short-term and long-term dependencies within a time series, and forecast if the price would go up, down or remain the same (flat) in the future. In our experiments, we demonstrated the success of the proposed method in comparison to commonly adopted statistical and deep learning methods on forecasting intraday stock price change of S&P 500 constituents.

研究动机与目标

• 通过捕捉短期和长期依赖性来推动对金融时间序列的准确预测。
• 提出基于 CNN-Transformer 的架构来预测价格运动方向（上涨/下跌/平盘）。
• 在真实日内股票数据上对比统计与深度学习基线评估性能。

提出的方法

• 使用最小-最大缩放对数据进行预处理。
• 通过一维卷积将局部短期模式表示为 CNN 生成的 token。
• 加入位置嵌入并将 token 送入 Transformer 以学习远程相关性。
• 用 MLP 和 softmax 对 Transformer 输出进行编码，以预测三类之一（上涨、下跌、平盘）。
• 使用 AdamW 在 GPU 硬件上通过交叉熵损失进行训练。

实验结果

研究问题

• RQ1 CNN-Transformer 混合模型是否能有效捕捉金融时间序列中的短期和长期依赖，以预测价格运动方向？
• RQ2 CTTS 是否在日内股票数据上优于传统统计方法（ARIMA、EMA）和深度学习自回归模型（DeepAR）？
• RQ3 模型的预测概率是否足够可靠，以实现基于阈值的高置信度交易决策？

主要发现

• CTTS 在二分类和三分类任务的符号准确率上均优于所有基线。
• 对阈值的预测准确性在所有模型上有所提升，CTTS 显示出最大的增益。
• CTTS 的概率估计是可靠的，在应用置信阈值时可实现更高的准确性。
• 研究使用 2019 年的日内 S&P 500 数据，展示了基于预测类别的交易决策潜力。