[论文解读] Financial sentiment analysis using FinBERT with application in predicting stock movement

Tingsong Jiang, Andy Zeng|arXiv (Cornell University)|Jun 3, 2023

Stock Market Forecasting Methods被引用 5

一句话总结

本文提出了一种基于FinBERT的情感分析模型，并结合LSTM以预测股票价格走势，表明金融新闻中的情感信息显著提升了预测准确率，相较于传统的ARIMA和独立的LSTM模型。FinBERT+LSTM模型实现了最低损失和最佳性能，验证了情感作为短期市场趋势关键预测因子的有效性。

ABSTRACT

In this study, we integrate sentiment analysis within a financial framework by leveraging FinBERT, a fine-tuned BERT model specialized for financial text, to construct an advanced deep learning model based on Long Short-Term Memory (LSTM) networks. Our objective is to forecast financial market trends with greater accuracy. To evaluate our model's predictive capabilities, we apply it to a comprehensive dataset of stock market news and perform a comparative analysis against standard BERT, standalone LSTM, and the traditional ARIMA models. Our findings indicate that incorporating sentiment analysis significantly enhances the model's ability to anticipate market fluctuations. Furthermore, we propose a suite of optimization techniques aimed at refining the model's performance, paving the way for more robust and reliable market prediction tools in the field of AI-driven finance.

研究动机与目标

• 探究从新闻标题中提取的金融情感是否能有效预测短期股票价格走势。
• 比较FinBERT、BERT、LSTM和ARIMA模型在利用情感和时间序列数据预测股票收益方面的表现。
• 评估领域特定预训练模型（FinBERT）相较于通用模型（BERT）在金融情感分析中的有效性。
• 识别当前模型的局限性，例如在小样本个股数据集上存在长期预测不足和过拟合问题。
• 探索未来改进方向，包括数据增强、领域微调以及整合社交媒体情感信息。

提出的方法

• 在包含800多家美国公司12年新闻文章标题和正文的金融新闻数据集上，对预训练的FinBERT模型进行微调。
• 利用FinBERT的分类头提取句子级情感得分，将情感视为回归或分类目标。
• 将情感得分输入双向LSTM网络，以建模随时间变化的情感序列中的时间依赖性。
• 采用按日期划分的90-10时间序列分割策略进行端到端训练，并对收盘价和开盘价应用MinMax归一化以实现数据缩放。
• 使用标准回归指标（MSE、MAE、RMSE）评估模型性能，并与ARIMA、BERT+LSTM和独立LSTM基线模型进行比较。
• 应用数据预处理，包括过滤、基于日期的分割以及处理类别不平衡，以提升模型泛化能力。

Figure 1: A plot of MSFT closing price

实验结果

研究问题

• RQ1 与传统时间序列模型相比，通过FinBERT提取的金融情感是否能提升股票价格走势预测的准确率？
• RQ2 鉴于其领域特定的预训练，FinBERT是否在金融新闻情感分析中优于通用的BERT模型？
• RQ3 FinBERT情感得分与LSTM建模相结合的方法，在预测股票收益方面，相较于独立LSTM或ARIMA模型表现如何？
• RQ4 当前模型在捕捉长期趋势以及避免在小样本个股数据集上过拟合方面存在哪些局限性？
• RQ5 仅依靠新闻标题情感在多大程度上可预测市场走势？通过整合社交媒体或多源数据可实现哪些改进？

主要发现

• FinBERT + LSTM模型在训练和验证阶段均实现了最低损失，优于ARIMA、BERT + LSTM和独立LSTM模型。
• ARIMA在捕捉长期趋势方面表现良好（MSE: 0.00975, MAE: 0.07154, RMSE: 0.09876），但在应对短期波动时表现不佳。
• FinBERT + LSTM模型在拟合短期市场走势方面表现出色，表明情感是近期内价格变动的强有力预测因子。
• 尽管经过领域适应，FinBERT在情感分类任务中并未显著优于BERT，提示可能需要在完整数据集上进一步微调。
• 模型在长期预测中持续低估收盘价，表明需要采用如ARIMA预处理等混合方法。
• 由于单只股票数据量有限（例如，MSFT处理后约1,440行），观察到过拟合现象，凸显了数据增强或多只股票联合建模的必要性。

Figure 2: A plot of rolling mean and standard deviation for MSFT closing price