[论文解读] Leveraging Financial News for Stock Trend Prediction with Attention-Based Recurrent Neural Network

Huicheng Liu|arXiv (Cornell University)|Nov 14, 2018

Stock Market Forecasting Methods被引用 12

一句话总结

本文提出了一种基于注意力机制的LSTM模型（At-LSTM），利用金融新闻标题预测标普500指数及个股的股价走势方向。通过结合双向LSTM进行上下文编码，以及自注意力机制聚焦关键词汇、新闻和时间点，该模型在标普500指数预测中达到65.53%的最大准确率，在沃尔玛等个股预测中最高达72.06%，优于基线模型，证明了先进NLP技术在计算金融中的价值。

ABSTRACT

Stock market prediction is one of the most attractive research topic since the successful prediction on the market's future movement leads to significant profit. Traditional short term stock market predictions are usually based on the analysis of historical market data, such as stock prices, moving averages or daily returns. However, financial news also contains useful information on public companies and the market. Existing methods in finance literature exploit sentiment signal features, which are limited by not considering factors such as events and the news context. We address this issue by leveraging deep neural models to extract rich semantic features from news text. In particular, a Bidirectional-LSTM are used to encode the news text and capture the context information, self attention mechanism are applied to distribute attention on most relative words, news and days. In terms of predicting directional changes in both Standard & Poor's 500 index and individual companies stock price, we show that this technique is competitive with other state of the art approaches, demonstrating the effectiveness of recent NLP technology advances for computational finance.

研究动机与目标

• 通过整合金融新闻中的丰富语义特征，超越简单的情感分析，提升股票趋势预测性能。
• 解决现有方法无法捕捉新闻文本中上下文和事件级信息的局限性。
• 探究具有注意力机制的深度神经网络是否能提升金融时间序列预测的性能。
• 比较新闻标题与完整新闻文章在股票预测模型中的有效性。
• 评估模型在宽基市场指数与个股上的表现，识别影响预测准确率的因素。

提出的方法

• 使用双向LSTM对金融新闻标题进行编码，捕捉文本中的序列与上下文依赖关系。
• 在词、新闻和日期三个层级应用自注意力机制，动态加权输入序列中不同元素的重要性。
• 处理来自路透社和彭博社的新闻标题，仅聚焦于标题以减少噪声并提高相关性。
• 通过词嵌入（WEB-At-LSTM）引入字符级组合，增强罕见词或未登录词的表示能力。
• 模型通过分类头对编码表示进行训练，以预测股价的涨跌方向。
• 消融实验对比了含与不含技术指标的模型，结果表明此类特征因引入噪声而降低性能。

实验结果

研究问题

• RQ1 基于注意力机制的循环网络能否有效从金融新闻标题中提取与股票趋势预测相关的语义和上下文特征？
• RQ2 在多个层级（词、新闻、日期）引入自注意力机制，相比标准RNN或词袋模型，是否能显著提升预测准确率？
• RQ3 仅使用新闻标题而非完整文章是否能在股票预测任务中带来更好的性能？
• RQ4 所提出的At-LSTM模型与使用知识图谱事件嵌入的SOTA模型（如KGEB-CNN）相比表现如何？
• RQ5 在模型输入中加入技术指标对预测准确率有何影响？

主要发现

• At-LSTM模型在标普500指数趋势预测中达到最大准确率65.53%，平均准确率为63.06%，优于SVM等基线模型。
• 对于个股，模型平均准确率达68.5%，在沃尔玛（WMT）上最高达72.06%，表明在公司特定新闻上表现更优。
• 模型优于Bag-At-LSTM与CNN-LSTM，证明在新闻与日期层级引入自注意力机制可提升特征选择与时间建模能力。
• 包含完整新闻正文（如Ab-At-LSTM与Doc-At-LSTM）会降低性能，证实标题包含更相关且聚焦的信息。
• 技术指标的引入未提升性能，甚至降低准确率，可能源于输入表示中的噪声。
• 尽管未使用外部知识，该模型性能仍与KGEB-CNN（一种使用知识图谱事件嵌入的SOTA方法）相当。