[论文解读] Investigation Into The Effectiveness Of Long Short Term Memory Networks For Stock Price Prediction

Hengjian Jia|arXiv (Cornell University)|Mar 25, 2016

Stock Market Forecasting Methods参考文献 4被引用 63

一句话总结

本研究使用谷歌的历史股价数据（2005–2015）评估长短期记忆（LSTM）网络在股票价格预测中的表现。通过采用滑动窗口和ADAM优化的渐进式预训练策略，该模型在3层、250个单元的LSTM上实现了最低测试均方根误差（RMSE）0.0105，优于无变化基线模型（RMSE 0.0265）。

ABSTRACT

The effectiveness of long short term memory networks trained by backpropagation through time for stock price prediction is explored in this paper. A range of different architecture LSTM networks are constructed trained and tested.

研究动机与目标

• 评估LSTM网络在使用时间序列数据预测股价走势方面的有效性。
• 探究相比简单模型，更深更宽的LSTM架构是否能提升预测准确率。
• 评估一种新型渐进式预训练策略（基于滑动窗口）对模型收敛性和性能的影响。
• 将LSTM性能与简单的无变化基线模型进行比较，以验证其预测实用性。
• 检验LSTM在参数量远超训练样本数量的情况下对过拟合的鲁棒性。

提出的方法

• 在归一化的每日股价收益率（开盘价、最高价、最低价、收盘价、成交量）上训练1至3层隐藏层、单元数在50至500之间的LSTM网络。
• 通过滑动窗口方法构建输入序列，初始序列长度为2，并逐步加倍至256，以实现渐进式预训练。
• 模型使用硬Sigmoid门和tanh激活函数，通过SVD进行权重初始化，以确保隐藏状态动态的稳定性。
• 遗忘门偏置初始化为1，其他偏置初始化为0，以促进长期依赖关系的学习。
• 数据通过以下方式归一化为日收益率：$ \hat{x}_t = \frac{x_t}{x_{t-1}} - 1 $，以减小尺度并提升训练稳定性。
• 使用ADAM优化器，采用默认超参数，并保持每批次20个序列的固定批量大小。

实验结果

研究问题

• RQ1 LSTM能否有效学习股价时间序列中的时间模式，从而实现准确预测？
• RQ2 在基于LSTM的股价预测中，网络深度和宽度如何影响预测性能？
• RQ3 使用序列长度由2逐步增加至256的滑动窗口进行渐进式预训练，是否能提升模型收敛性和最终准确率？
• RQ4 与简单的无变化基线模型相比，LSTM模型在RMSE指标上的表现如何？
• RQ5 尽管参数量远超唯一训练序列数量，该模型是否仍对过拟合具有鲁棒性？

主要发现

• 3层、250个单元的LSTM实现了最低的测试RMSE 0.0105，表明其具有出色的预测性能。
• 该模型始终优于无变化基线模型（RMSE 0.0265），证实其具备实际学习到的预测能力。
• 增加网络深度和宽度通常能提升性能，其中3层、250个单元的配置取得了最佳结果。
• 采用从长度2到256的滑动窗口进行渐进式预训练的策略，提升了训练稳定性和收敛性。
• 尽管参数量远超训练样本数量，该模型表现出对过拟合的强抵抗力，各架构间性能保持一致。
• 表现最佳的模型（3层、250个单元）相比基线模型实现了58.5%的RMSE降低，展现出显著的预测优势。