[论文解读] DP-LSTM: Differential Privacy-inspired LSTM for Stock Prediction Using Financial News

Xinyi Li, Yinchuan Li+3 more|arXiv (Cornell University)|Dec 19, 2019

Stock Market Forecasting Methods被引用 26

一句话总结

该论文提出了一种名为DP-LSTM的新型深度学习模型，通过结合VADER情感分析与差分隐私（DP）技术，将金融新闻情感信息融入股票价格预测，以提升预测性能。通过将LSTM与情感-ARMA建模相结合，并引入差分隐私噪声注入，该方法有效降低了预测误差并增强了模型鲁棒性，在S&P 500指数预测中，相较于基线模型，平均MPA提升了0.32%，MSE最高降低了65.79%。

ABSTRACT

Stock price prediction is important for value investments in the stock market. In particular, short-term prediction that exploits financial news articles is promising in recent years. In this paper, we propose a novel deep neural network DP-LSTM for stock price prediction, which incorporates the news articles as hidden information and integrates difference news sources through the differential privacy mechanism. First, based on the autoregressive moving average model (ARMA), a sentiment-ARMA is formulated by taking into consideration the information of financial news articles in the model. Then, an LSTM-based deep neural network is designed, which consists of three components: LSTM, VADER model and differential privacy (DP) mechanism. The proposed DP-LSTM scheme can reduce prediction errors and increase the robustness. Extensive experiments on S&P 500 stocks show that (i) the proposed DP-LSTM achieves 0.32% improvement in mean MPA of prediction result, and (ii) for the prediction of the market index S&P 500, we achieve up to 65.79% improvement in MSE.

研究动机与目标

• 解决将非结构化金融新闻整合到股票价格预测中的挑战，同时最小化主观报道带来的偏差。
• 通过将新闻文章的情感分析结果融入深度学习框架，提升预测准确性和模型鲁棒性。
• 通过在LSTM模型训练过程中应用差分隐私（DP），减少过拟合并增强泛化能力。
• 开发一种混合模型，结合基于ARMA的时间序列建模与深度神经网络，以提升短期股票预测性能。

提出的方法

• 该模型采用情感-ARMA框架，通过引入从金融新闻文章中提取的情感得分，对传统ARMA进行扩展。
• 采用VADER情感分析工具，从新闻标题和文章中提取复合情感得分，有效捕捉情感极性和强度。
• 设计了一个三组件深度神经网络：LSTM层用于序列建模，情感编码器用于新闻输入，差分隐私机制用于在训练过程中注入噪声。
• 通过向梯度或模型参数添加拉普拉斯或高斯噪声，实现差分隐私，以保护个体数据点并减少过拟合。
• 损失函数采用均方误差（MSE），并使用ADAM优化器进行高效训练，适用于大规模金融数据。
• 由于不同股票价格尺度不同，模型针对每只股票单独训练，共完成451次独立训练运行，以确保统计可靠性。

实验结果

研究问题

• RQ1 将金融新闻情感信息整合到基于LSTM的模型中，能否提升短期股票价格预测的准确性？
• RQ2 在训练过程中应用差分隐私，对股票预测模型的鲁棒性与泛化能力有何影响？
• RQ3 将情感-ARMA建模与深度学习相结合，在S&P 500指数预测中的性能提升程度如何？
• RQ4 DP-LSTM模型在准确性和误差降低方面，是否优于标准LSTM及仅使用新闻输入的LSTM模型？
• RQ5 引入来自多样化新闻来源的情感得分，对模型稳定性与金融预测中的风险缓释有何影响？

主要发现

• 与仅使用新闻输入的标准LSTM相比，DP-LSTM在平均预测准确率（MPA）上提升了0.32%，表明其预测准确性更高。
• 在S&P 500指数预测中，DP-LSTM相较于基线LSTM（含新闻输入），将均方误差（MSE）最高降低了65.79%。
• 可视化对比显示，DP-LSTM的预测结果始终比仅使用新闻或不使用新闻的LSTM更接近实际的S&P 500指数价格走势。
• DP-LSTM的平均MPA为0.98158，优于含新闻的LSTM（0.97837）和不含新闻的LSTM（0.97831），表明其具有更优的预测性能。
• 差分隐私的使用显著降低了模型对单个数据点的敏感度，增强了其对噪声或有偏新闻报告的鲁棒性。
• VADER提取的复合情感得分显示整体呈现中性至轻微负面的情感趋势，而模型能有效利用该趋势以提升预测效果。