[论文解读] Stock trend prediction using news sentiment analysis

Joshi Kalyani, H. N. Bharathi+1 more|arXiv (Cornell University)|Jul 7, 2016

Stock Market Forecasting Methods参考文献 5被引用 22

一句话总结

本文提出一种机器学习方法，通过分析金融新闻文章中的情感，利用三种分类模型——随机森林（RF）、支持向量机（SVM）和朴素贝叶斯——预测股票趋势。这些模型将新闻情感分类为正面或负面，实验结果表明，RF和SVM模型的准确率超过80%，比随机标注（50%）高出30个百分点。

ABSTRACT

Efficient Market Hypothesis is the popular theory about stock prediction. With its failure much research has been carried in the area of prediction of stocks. This project is about taking non quantifiable data such as financial news articles about a company and predicting its future stock trend with news sentiment classification. Assuming that news articles have impact on stock market, this is an attempt to study relationship between news and stock trend. To show this, we created three different classification models which depict polarity of news articles being positive or negative. Observations show that RF and SVM perform well in all types of testing. Naïve Bayes gives good result but not compared to the other two. Experiments are conducted to evaluate various aspects of the proposed model and encouraging results are obtained in all of the experiments. The accuracy of the prediction model is more than 80% and in comparison with news random labeling with 50% of accuracy; the model has increased the accuracy by 30%.

研究动机与目标

• 探究金融新闻情感与未来股价走势之间的关系。
• 评估自然语言处理技术在利用非结构化新闻数据预测股票趋势方面的有效性。
• 比较多种机器学习模型——RF、SVM和朴素贝叶斯——在基于情感的股票预测中的性能。
• 证明从新闻文章中提取的情感能够对股票方向产生具有统计显著性的预测能力。
• 将模型准确率与随机基线（50%）进行对比，以确立有意义的性能提升。

提出的方法

• 收集与特定公司相关的金融新闻文章，用于情感分析。
• 使用标准自然语言处理技术（如分词、停用词去除和词形还原）对文本数据进行预处理。
• 应用三种监督学习模型——随机森林、SVM和朴素贝叶斯——进行二元情感分类（正面/负面）。
• 在通过人工或基于规则的方式标注情感的新闻文章上训练模型。
• 使用标准指标评估模型性能，以准确率为首要评估标准。
• 将模型的预测准确率与随机基线（50%准确率）进行对比，以评估其在现实中的实用性。

实验结果

研究问题

• RQ1 从金融新闻文章中提取的情感能否可靠地预测未来的股价走势？
• RQ2 不同机器学习模型（RF、SVM、朴素贝叶斯）在分类新闻情感用于股票预测方面表现如何？
• RQ3 基于情感的预测在多大程度上优于随机猜测（50%准确率）？
• RQ4 非量化文本数据（新闻文章）对股票市场走势预测有何影响？
• RQ5 哪种模型架构在基于情感的股票趋势预测中准确率最高？

主要发现

• 随机森林和SVM模型在基于新闻情感分类股票趋势方向时，预测准确率超过80%。
• 朴素贝叶斯模型表现良好，但在基于情感的股票预测中表现不如RF和SVM。
• 与随机标注（50%准确率）相比，所提出的模型将预测准确率提高了30个百分点，显示出显著的预测能力。
• 结果证实了新闻情感与后续股价走势之间存在有意义的关系，支持在金融预测中使用文本数据。
• 本研究验证了将金融新闻的情感分析与强大的机器学习模型结合，可作为股票趋势预测的可靠信号。