[论文解读] A BERT based Sentiment Analysis and Key Entity Detection Approach for Online Financial Texts

Lingyun Zhao, Lin Li+1 more|arXiv (Cornell University)|Jan 14, 2020

Sentiment Analysis and Opinion Mining参考文献 31被引用 23

一句话总结

本文提出了一种基于 BERT 的方法，用于在线金融文本的情感分析和关键实体检测，将实体检测任务视为句子匹配或机器阅读理解任务，而非传统的命名实体识别（NER）。该方法在两个金融文本数据集上优于 SVM、LR、NBM 和标准 BERT，集成学习进一步提升了负面情感和关键实体识别的性能。

ABSTRACT

The emergence and rapid progress of the Internet have brought ever-increasing impact on financial domain. How to rapidly and accurately mine the key information from the massive negative financial texts has become one of the key issues for investors and decision makers. Aiming at the issue, we propose a sentiment analysis and key entity detection approach based on BERT, which is applied in online financial text mining and public opinion analysis in social media. By using pre-train model, we first study sentiment analysis, and then we consider key entity detection as a sentence matching or Machine Reading Comprehension (MRC) task in different granularity. Among them, we mainly focus on negative sentimental information. We detect the specific entity by using our approach, which is different from traditional Named Entity Recognition (NER). In addition, we also use ensemble learning to improve the performance of proposed approach. Experimental results show that the performance of our approach is generally higher than SVM, LR, NBM, and BERT for two financial sentiment analysis and key entity detection datasets.

研究动机与目标

• 解决从海量负面在线金融文本中快速准确提取关键信息的挑战。
• 提升金融社交媒体和舆情监控中的情感分析与关键实体检测性能。
• 提出一种新颖方法，将关键实体检测重新定义为句子匹配或机器阅读理解任务，区别于传统的命名实体识别（NER）。
• 通过集成学习技术提升金融文本挖掘应用中的模型性能。

提出的方法

• 在领域特定数据集上微调预训练的 BERT 模型，用于金融情感分析。
• 将关键实体检测重新定义为句子匹配或机器阅读理解（MRC）任务，以提高识别相关实体的精度。
• 使用集成学习结合多个模型的预测结果，提升整体性能。
• 重点关注负面情感检测，因其在金融语境中具有更高的风险与决策相关性。
• 利用 BERT 的上下文表示，捕捉金融语言中细微的情感与实体关系。
• 通过使用预训练 BERT 模型进行初始化，并在金融文本数据上进行微调，实现迁移学习。

实验结果

研究问题

• RQ1 基于 BERT 的模型能否有效检测在线金融文本中的情感，尤其是负面情感？
• RQ2 将关键实体检测视为句子匹配或 MRC 任务，与传统 NER 在金融文本分析中的表现相比如何？
• RQ3 集成学习在多大程度上提升了金融情感与实体检测任务的性能？
• RQ4 所提出的方法是否在金融文本数据集上优于传统模型（如 SVM、LR 和 NBM）？

主要发现

• 所提出的基于 BERT 的方法在两个金融情感分析与关键实体检测数据集上，性能优于 SVM、LR、NBM 和标准 BERT。
• 该方法在检测负面金融文本中的关键实体方面表现出更优的准确性，这些实体对风险评估至关重要。
• 将实体检测重新定义为句子匹配或 MRC 任务，相比标准 NER 方法，显著提升了精度。
• 集成学习显著增强了情感与实体检测流程的鲁棒性与性能。
• 该模型在特定领域金融语言上表现出强大的泛化能力，尤其在识别情感相关实体方面表现优异。
• 该方法在金融市场的实时舆情分析与决策支持中具有实际有效性。