[论文解读] BERT-based Financial Sentiment Index and LSTM-based Stock Return Predictability

Joshua Zoen Git Hiew, Xin Huang+4 more|arXiv (Cornell University)|Jun 21, 2019

Stock Market Forecasting Methods参考文献 18被引用 40

一句话总结

本文基于 BERT 的文本情感指数，取自 Weibo，针对三只 HKSE 股票，将其与期权隐含情感和市场隐含情感进行比较，并证明在使用多种情感通道时，LSTM 能比 VAR 更好地预测股票回报，尽管在较长时期机器学习模型可能过拟合。

ABSTRACT

Traditional sentiment construction in finance relies heavily on the dictionary-based approach, with a few exceptions using simple machine learning techniques such as Naive Bayes classifier. While the current literature has not yet invoked the rapid advancement in the natural language processing, we construct in this research a textual-based sentiment index using a well-known pre-trained model BERT developed by Google, especially for three actively trading individual stocks in Hong Kong market with at the same time the hot discussion on Weibo.com. On the one hand, we demonstrate a significant enhancement of applying BERT in financial sentiment analysis when compared with the existing models. On the other hand, by combining with the other two commonly-used methods when it comes to building the sentiment index in the financial literature, i.e., the option-implied and the market-implied approaches, we propose a more general and comprehensive framework for the financial sentiment analysis, and further provide convincing outcomes for the predictability of individual stock return by combining LSTM (with a feature of a nonlinear mapping). It is significantly distinct with the dominating econometric methods in sentiment influence analysis which are all of a nature of linear regression.

研究动机与目标

• 使用在 Weibo 的中文文本上微调的 BERT，为三只 HKSE 股票构建一个文本金融情感指数。
• 将 BERT 与其他在金融情感分类中使用的 NLP 模型进行比较。
• 构建一个三通道情感框架（基于 BERT 的、期权隐含、市场隐含），以研究它们的联合影响。
• 使用情感指数结合 LSTM 来评估股票回报的可预测性，并与 VAR 进行比较。
• 评估逐年与全期的预测性能并讨论潜在的过拟合。

提出的方法

• 对三只 HKSE 股票的 Weibo 帖子进行预处理并人工标注，采用三类极性（正、中、负），并通过专家投票共识进行标注。
• 在标注数据上对中文 BERT 进行微调，并与带注意力的 Transformer、PMI 增强的 BiLSTM、PMI 增强的 Multichannel CNN，以及 FastText 进行比较；报告微平均精确度、召回率和 F1。
• 对每只股票 i 和交易日 t 计算 BSIt,i = (Post,i − Negt,i) / (Post,i + Neut,i + Negt,i) 以形成基于 BERT 的情感指数。
• 通过期权数据的风险中性偏度构建 OSIi 情感（per Han, 2008）。
• 通过按 Chong et al. (2014) 的日数据方法，利用 PCA 基础或基于市场数据的方法构建 MSIi。
• 使用 VAR（线性）和 LSTM（非线性）建模股票回报的可预测性，输入包括情感指数和八个风险因子（r1, r3−r1, Inf, UMD, HKD, rm−r1, SMB, HML）。

实验结果

研究问题

• RQ1 基于中文社交媒体构建的 BERT 情感指数是否能在金融情感测量方面优于现有的 NLP 模型？
• RQ2 三种情感通道（文本、期权隐含、市场隐含）在解释股票回报波动方面如何相互作用？
• RQ3 在纳入情感指数时，LSTM 是否能在预测单只股票回报方面胜过 VAR，且在哪些时间段内？
• RQ4 将多种情感通道结合（Mixture）是否比单一通道使用具有更好的预测准确性？

主要发现

• BERT 在中文金融文本的情感分类中优于其他模型（在精确率、召回率和 F1 上更高，尤其是召回率显著更高）。
• 基于 BERT 的情感指数 (BSI) 加上另外两个通道 (OSI, MSI) 形成一个金融情感分析的三通道框架。
• 在逐年预测中，带有情感指数的 LSTM 通常实现比 VAR 更低的 MSE，表明情感对回报的影响存在非线性关系。
• 在 LSTM 模型下，最强的预测性能通常出现在使用三种情感通道的混合（Mixture），而非任何单一通道。
• 在整个时期 2016–2018 上，LSTM 并不始终优于 VAR，提示较长时段可能存在过拟合。
• 与 No-SI 基线相比，使用 LSTM 时加入情感指数能显著提升预测。