[论文解读] A Sentiment Analysis Approach to the Prediction of Market Volatility

Justina Deveikyte, Hélyette Geman+2 more|arXiv (Cornell University)|Dec 10, 2020

Stock Market Forecasting Methods被引用 9

一句话总结

本文提出了一种混合情感与主题建模方法，利用金融新闻和Twitter数据预测次日市场波动率。通过结合潜在狄利克雷分布（LDA）进行主题提取与情感分析，该模型在预测波动率方向上实现了63%的准确率，且正向Twitter情感与次日波动率之间存在显著负相关（r = -0.7）。

ABSTRACT

Prediction and quantification of future volatility and returns play an important role in financial modelling, both in portfolio optimization and risk management. Natural language processing today allows to process news and social media comments to detect signals of investors' confidence. We have explored the relationship between sentiment extracted from financial news and tweets and FTSE100 movements. We investigated the strength of the correlation between sentiment measures on a given day and market volatility and returns observed the next day. The findings suggest that there is evidence of correlation between sentiment and stock market movements: the sentiment captured from news headlines could be used as a signal to predict market returns; the same does not apply for volatility. Also, in a surprising finding, for the sentiment found in Twitter comments we obtained a correlation coefficient of -0.7, and p-value below 0.05, which indicates a strong negative correlation between positive sentiment captured from the tweets on a given day and the volatility observed the next day. We developed an accurate classifier for the prediction of market volatility in response to the arrival of new information by deploying topic modelling, based on Latent Dirichlet Allocation, to extract feature vectors from a collection of tweets and financial news. The obtained features were used as additional input to the classifier. Thanks to the combination of sentiment and topic modelling our classifier achieved a directional prediction accuracy for volatility of 63%.

研究动机与目标

• 探究从金融新闻与社交媒体提取的情感是否能够预测股票市场波动率与收益。
• 评估新闻标题、完整新闻报道及推文中的情感在预测FTSE100指数方面的预测能力。
• 评估通过LDA进行主题建模是否能提升波动率方向预测的准确性。
• 确定情感与主题特征是否可有效结合以提升市场择时信号。
• 利用格兰杰因果检验探索情感与市场走势之间的因果关系。

提出的方法

• 使用基于关键词的过滤方法，从Thomson Reuters、RavenPack和Twitter收集金融新闻标题、完整报道及推文。
• 应用预训练的情感分析工具，为每种数据源计算每日情感得分。
• 使用潜在狄利克雷分布（LDA）从每日新闻与推文集合中提取主题分布。
• 将情感得分与LDA主题向量作为输入特征，输入逻辑回归分类器。
• 训练分类器以预测次日市场波动率的方向（上涨/下跌）。
• 通过scikit-learn使用标准指标（准确率、精确率、召回率与F1分数）评估模型性能。

实验结果

研究问题

• RQ1 金融新闻中的每日情感与FTSE100收益或波动率之间是否存在统计显著相关性？
• RQ2 Twitter情感相较于新闻标题情感是否对市场波动率具有更强的预测能力？
• RQ3 对新闻与社交媒体内容进行主题建模是否能提升波动率方向预测的准确性？
• RQ4 金融文本中的情感是否格兰杰因果导致市场收益或波动率的变化？
• RQ5 引入主题特征如何影响基于情感的波动率预测模型性能？

主要发现

• 在推文中的正向情感与次日市场波动率之间发现显著负相关（r = -0.7，p < 0.05），表明正向情感越高，波动率越低。
• 新闻标题中的情感与FTSE100收益呈统计显著负相关，但与波动率无关。
• 结合情感与LDA主题特征的混合模型在预测市场波动率方向上达到63%的准确率。
• 标题数据集的模型准确率最高（65%），其次为推文（64%）与完整报道（67%），但各类数据类型的精确率存在差异。
• 仅使用主题建模即可提供波动率方向的预测信号，且模型准确率对所选主题数量敏感。
• 格兰杰因果检验未能拒绝原假设（p > 0.10），表明缺乏充分证据表明情感导致市场收益或波动率的变化。