[论文解读] Sentiment analysis in tweets: an assessment study from classical to modern text representation models

Sérgio Barreto, Ricardo Moura+3 more|arXiv (Cornell University)|May 29, 2021

Sentiment Analysis and Opinion Mining参考文献 51被引用 5

一句话总结

本研究评估了用于推文情感分析的经典与现代文本表示模型，比较了静态嵌入（如TF-IDF、Word2Vec）与上下文嵌入模型（如BERT、RoBERTa、BERTweet）。研究发现，经过情感数据集微调的Twitter优化版BERT模型BERTweet表现最佳，尤其在与逻辑回归或MLP分类器结合时，其性能优于所有原始及微调模型，在22个不同数据集上均表现优异。

ABSTRACT

With the growth of social medias, such as Twitter, plenty of user-generated data emerge daily. The short texts published on Twitter -- the tweets -- have earned significant attention as a rich source of information to guide many decision-making processes. However, their inherent characteristics, such as the informal, and noisy linguistic style, remain challenging to many natural language processing (NLP) tasks, including sentiment analysis. Sentiment classification is tackled mainly by machine learning-based classifiers. The literature has adopted word representations from distinct natures to transform tweets to vector-based inputs to feed sentiment classifiers. The representations come from simple count-based methods, such as bag-of-words, to more sophisticated ones, such as BERTweet, built upon the trendy BERT architecture. Nevertheless, most studies mainly focus on evaluating those models using only a small number of datasets. Despite the progress made in recent years in language modelling, there is still a gap regarding a robust evaluation of induced embeddings applied to sentiment analysis on tweets. Furthermore, while fine-tuning the model from downstream tasks is prominent nowadays, less attention has been given to adjustments based on the specific linguistic style of the data. In this context, this study fulfils an assessment of existing language models in distinguishing the sentiment expressed in tweets by using a rich collection of 22 datasets from distinct domains and five classification algorithms. The evaluation includes static and contextualized representations. Contexts are assembled from Transformer-based autoencoder models that are also fine-tuned based on the masked language model task, using a plethora of strategies.

研究动机与目标

• 评估经典与现代文本表示模型在推文情感分析中的性能。
• 探究静态嵌入与上下文嵌入在处理推文非正式、嘈杂语言风格方面的表现差异。
• 评估将基于Transformer的模型在特定领域情感数据集上微调，与在通用推文本语料上微调的影响。
• 确定用于推文情感分类的最佳语言模型与分类器组合。
• 识别在通用推文数据上预训练与在情感标注数据上微调，哪种方法在推文情感分析中效果更优。

提出的方法

• 在涵盖多个领域的22个多样化英文推文数据集上进行评估，以确保结果的稳健性。
• 将静态表示（词袋、TF-IDF、Word2Vec、Fast-Text）与上下文模型（BERT、RoBERTa、BERTweet）进行比较。
• 使用掩码语言建模对基于Transformer的模型进行微调，使用不同规模的未标注英文推文（从0.5K到150万条）。
• 应用五种分类器（逻辑回归、SVM、MLP、随机森林、朴素贝叶斯）以评估不同学习范式下的模型性能。
• 通过消融研究比较在通用推文与情感标注推文上进行微调的效果，包括使用目标数据集与外部情感数据集的混合微调策略。
• 采用BERTweet（一种在大规模推文语料上预训练的BERT变体）来评估领域特定预训练与微调的优势。

实验结果

研究问题

• RQ1 在推文情感分类中，静态文本表示（如TF-IDF、Word2Vec）与上下文表示（如BERT、RoBERTa、BERTweet）相比表现如何？
• RQ2 在大规模未标注英文推文上微调预训练的基于Transformer的模型，是否能提升情感分类性能？
• RQ3 在情感标注数据集上微调是否比在通用推文本语料上微调更有效？
• RQ4 哪种语言模型与分类器的组合在推文情感分析中表现最佳？
• RQ5 微调数据集的大小如何影响BERT、RoBERTa和BERTweet等预训练模型的性能？

主要发现

• 当使用目标数据集与大量外部情感数据集组合进行微调时（BERTweet_22Dt），BERTweet在全部22个数据集上均取得最佳整体性能。
• 即使仅使用5,000条微调数据，BERTweet也优于所有其他模型，表明在推文数据上预训练的模型在达到高性能时所需微调数据更少。
• 在情感标注数据集上微调的表现始终优于在通用推文上的微调，BERTweet_22Dt在所有配置中均达到最高F1分数。
• BERTweet与逻辑回归（LR）及多层感知机（MLP）分类器的组合取得了最佳整体结果，优于其他模型-分类器组合。
• RoBERTa与BERT在分别使用25万条与5万条推文微调时表现更优，但即便使用更大规模的微调集，其性能仍不及BERTweet。
• 不同模型的微调策略存在差异：BERT在仅使用目标数据集时表现最佳，而RoBERTa与BERTweet则通过结合目标数据与外部情感数据集获益更多。