[论文解读] Stock Market Prediction from WSJ: Text Mining via Sparse Matrix Factorization

Felix Ming Fai Wong, Zhenming Liu+1 more|arXiv (Cornell University)|Jun 27, 2014

Stock Market Forecasting Methods参考文献 18被引用 8

一句话总结

本文提出了一种统一的稀疏矩阵分解模型，将股票价格波动与《华尔街日报》新闻文章联合建模于共享的低维潜在空间中，实现了对所有标普500只股票的股票方向准确预测——即使这些股票未在新闻中被提及——在回测交易策略中达到55.7%的准确率，且收益更高、夏普比率更优。

ABSTRACT

We revisit the problem of predicting directional movements of stock prices based on news articles: here our algorithm uses daily articles from The Wall Street Journal to predict the closing stock prices on the same day. We propose a unified latent space model to characterize the "co-movements" between stock prices and news articles. Unlike many existing approaches, our new model is able to simultaneously leverage the correlations: (a) among stock prices, (b) among news articles, and (c) between stock prices and news articles. Thus, our model is able to make daily predictions on more than 500 stocks (most of which are not even mentioned in any news article) while having low complexity. We carry out extensive backtesting on trading strategies based on our algorithm. The result shows that our model has substantially better accuracy rate (55.7%) compared to many widely used algorithms. The return (56%) and Sharpe ratio due to a trading strategy based on our model are also much higher than baseline indices.

研究动机与目标

• 解决仅使用每日《华尔街日报》新闻文章和收盘价预测股票价格方向的挑战，不依赖命名实体识别或情感分析。
• 在统一的潜在空间中建模股票价格联动、新闻内容及其交叉相关性之间的联合相关性。
• 在保持低模型复杂度的前提下，实现对主要指数中全部500多只股票的准确预测，即使这些股票未在新闻中明确提及。
• 开发一种稳健且数据高效的模型，即使在训练数据有限（六年间仅约1500个交易日）的情况下仍表现良好。
• 证明在有效市场假说下，新闻与价格数据中的潜在结构仍可产生盈利的交易策略。

提出的方法

• 构建统一的潜在因子模型，通过稀疏矩阵分解将股票价格与新闻文章嵌入共享的低维潜在空间。
• 采用受SVD启发的分解方法，提取代表共同主题（如行业板块或话题，例如能源、政治）的潜在因子。
• 应用交替方向乘子法（ADMM）求解具有矩阵变量的非凸优化问题，实现正则化与过拟合控制。
• 对因子矩阵施加稀疏性约束，以应对训练天数（六年间仅约1500天）远少于维度的高维问题。
• 避免使用自然语言处理（NLP）技术（如情感分析或命名实体识别），仅依赖文本与价格数据中的共现模式。
• 利用新闻文章与股票价格沿共享潜在主题共同变动的假设，实现对未见股票的推断。

实验结果

研究问题

• RQ1 统一的潜在空间模型能否有效捕捉并利用股票价格波动、新闻内容及其交叉相关性进行预测？
• RQ2 在利用整个市场的潜在相关性基础上，模型在多大程度上可对未在新闻中提及的股票实现方向预测？
• RQ3 在不使用NLP的情况下，稀疏矩阵分解方法是否在股票预测准确率与交易表现上优于传统文本模型？
• RQ4 当输入中存在过时或无关的新闻文章时，该模型在现实约束下的表现如何？
• RQ5 该模型能否生成优于标准指数的盈利交易策略，实现更高的夏普比率与累计回报？

主要发现

• 模型在超过10万个测试样本中实现了55.7%的方向预测准确率，显著优于准确率低于51.5%的教科书时间序列模型。
• 该模型每天可成功预测超过500只股票的走势，包括当天未在任何《华尔街日报》文章中提及的股票。
• 基于该模型的回测交易策略在测试期内实现56%的累计回报，且夏普比率高于基准指数。
• 模型能提前识别市场下跌——例如2012年6月1日和11月7日，通过检测与欧洲债务危机及财政悬崖担忧相关的新闻潜在信号。
• 即使大量输入新闻内容过时，模型依然保持稳健，因其无需对新鲜度进行过滤，仍能生成盈利信号。
• 2013年表现优于2012年，与市场波动率更低、基线模型表现更好相关，表明该方法在波动性较低的环境中尤为有效。