[论文解读] Compatible deep neural network framework with financial time series data, including data preprocessor, neural network model and trading strategy

Mohammadmahdi Ghahramani, Hamid Esmaeili Najafabadi|arXiv (Cornell University)|May 11, 2022

Stock Market Forecasting Methods被引用 6

一句话总结

本文提出了一种新颖的、端到端兼容的深度学习框架，用于金融时间序列预测，整合了数据预处理、混合CNN-LSTM神经网络以及动态交易策略。通过使用技术指标、基于XGBoost的特征选择、多类别数据划分以及双CNN自编码器进行特征提取，该框架在BTC、ETH和S&P500数据集上实现了为期一年10倍至12倍的利润增长。

ABSTRACT

Experience has shown that trading in stock and cryptocurrency markets has the potential to be highly profitable. In this light, considerable effort has been recently devoted to investigate how to apply machine learning and deep learning to interpret and predict market behavior. This research introduces a new deep neural network architecture and a novel idea of how to prepare financial data before feeding them to the model. In the data preparation part, the first step is to generate many features using technical indicators and then apply the XGBoost model for feature engineering. Splitting data into three categories and using separate autoencoders, we extract high-level mixed features at the second step. This data preprocessing is introduced to predict price movements. Regarding modeling, different convolutional layers, an long short-term memory unit, and several fully-connected layers have been designed to perform binary classification. This research also introduces a trading strategy to exploit the trained model outputs. Three different datasets are used to evaluate this method, where results indicate that this framework can provide us with profitable and robust predictions.

研究动机与目标

• 开发一个全面且适用于现实场景的深度学习框架，用于金融时间序列预测，弥合数据准备、建模与交易执行之间的鸿沟。
• 通过引入基于交易行为的动态、直觉驱动的数据预处理流程，解决特征质量与市场波动性的挑战。
• 设计一种神经网络架构，通过卷积层捕捉局部模式（局部特征），通过LSTM捕捉时间依赖性，实现对价格方向的准确二分类。
• 在现实交易条件下（包括保证金限制和风险管理）评估框架的盈利能力。
• 在不同时间周期下，展示框架在多样化金融资产（加密货币（BTC、ETH）和股票（S&P500））上的稳健性能。

提出的方法

• 从OHLCV（开盘价、最高价、最低价、收盘价、成交量）数据生成一组全面的技术指标，以丰富特征空间。
• 应用XGBoost进行特征选择，基于其预测重要性优先选择信息丰富的特征。
• 将数据划分为三类不同类别（如牛市、熊市、盘整市），以实现上下文感知的特征学习。
• 采用两个定制的基于CNN的自编码器——在独立的数据划分上进行训练——以提取高层次、去噪化且压缩的金融特征表示。
• 设计一种混合深度神经网络，包含卷积层（用于空间特征优化）、LSTM层（用于序列依赖建模）以及全连接层（用于价格方向的二分类）。
• 实施一种动态交易策略，利用模型置信度分数（通过θ阈值化）确定入场/出场点，分别在“含”与“不含”利润保存保证金条件下进行评估。

实验结果

研究问题

• RQ1 如何对金融时间序列数据进行预处理，以反映真实交易行为和市场状态转变？
• RQ2 在特定市场状态数据上训练的自编码器在多大程度上能提升金融预测中的特征质量与模型泛化能力？
• RQ3 在波动性市场中，混合CNN-LSTM架构是否能优于标准深度学习模型，以预测下一步价格方向？
• RQ4 当应用于多样化金融资产（加密货币与股票）时，基于模型的交易策略在现实保证金约束下的盈利能力如何？
• RQ5 模型性能与交易盈利能力在不同市场状态和资产类别之间如何变化？

主要发现

• 该框架在BTC/USDT、ETH/USDT和S&P500数据集上，一年内实现了10至12倍的组合价值增长，表现出极高的盈利能力。
• 模型在所有数据集上均表现出稳健性能，F1分数、精确率与召回率均表明其对价格方向预测具有出色的二分类准确性。
• 将置信度阈值θ设为1/4导致盈利能力下降，原因是过度敏感，凸显了在风险调整交易中选择最优阈值的重要性。
• 在分割数据上分别使用自编码器显著改善了特征表示与模型泛化能力，尤其在非平稳与高波动市场条件下表现突出。
• 引入基于XGBoost的特征工程显著提升了模型性能，通过过滤掉低信息量特征实现优化。
• 包含利润保存保证金条件的交易策略展现出更可持续且更贴近现实的盈利能力，验证了该框架的实际适用性。