[论文解读] T-BERT -- Model for Sentiment Analysis of Micro-blogs Integrating Topic Model and BERT

Sarojadevi Palani, Prabhu Rajagopal+1 more|arXiv (Cornell University)|Jun 2, 2021

Sentiment Analysis and Opinion Mining参考文献 34被引用 10

一句话总结

本文提出 T-BERT，一种新颖的框架，将 BERT 的上下文嵌入与基于 LDA 的主题建模相结合，以提升原始微博数据上的情感分析性能。通过使用自编码器融合上下文主题，并在情感分类任务上微调 BERT，该模型在准确率上达到 90.81%，表明具备主题感知的上下文表征可显著提升无监督、短文本社交媒体数据的情感分类性能。

ABSTRACT

Sentiment analysis (SA) has become an extensive research area in recent years impacting diverse fields including ecommerce, consumer business, and politics, driven by increasing adoption and usage of social media platforms. It is challenging to extract topics and sentiments from unsupervised short texts emerging in such contexts, as they may contain figurative words, strident data, and co-existence of many possible meanings for a single word or phrase, all contributing to obtaining incorrect topics. Most prior research is based on a specific theme/rhetoric/focused-content on a clean dataset. In the work reported here, the effectiveness of BERT(Bidirectional Encoder Representations from Transformers) in sentiment classification tasks from a raw live dataset taken from a popular microblogging platform is demonstrated. A novel T-BERT framework is proposed to show the enhanced performance obtainable by combining latent topics with contextual BERT embeddings. Numerical experiments were conducted on an ensemble with about 42000 datasets using NimbleBox.ai platform with a hardware configuration consisting of Nvidia Tesla K80(CUDA), 4 core CPU, 15GB RAM running on an isolated Google Cloud Platform instance. The empirical results show that the model improves in performance while adding topics to BERT and an accuracy rate of 90.81% on sentiment classification using BERT with the proposed approach.

研究动机与目标

• 开发一种框架，通过将潜在主题建模与上下文 BERT 嵌入相结合，提升对原始、无监督微博数据的情感分析性能。
• 通过结合 BERT 的上下文理解能力与 LDA 的主题发现能力，提升短文本社交媒体中主题的可解释性与语义相关性。
• 证明将主题信息与 BERT 嵌入融合可显著提升情感分类准确率。
• 评估使用自编码器对齐并融合 BERT 上下文句子嵌入与 LDA 衍生主题的有效性。
• 提供一种灵活且可泛化的方案，适用于市场研究、品牌监控和社交网络分析等领域的实时情感分析。

提出的方法

• 该框架使用 BERT-base-uncased 从原始微博文本中生成上下文句子嵌入。
• 对同一文本语料库应用潜在狄利克雷分布（LDA），以提取主题分布，识别潜在主题。
• 训练一个自编码器，通过学习共享的潜在表示，将 BERT 嵌入与 LDA 主题相融合，采用 ReLU 激活函数和 L1 正则化以防止过拟合。
• 将融合后的表示输入微调后的 BERT 分类器，通过最终的全连接层进行情感预测（正面、负面、中性）。
• 使用 Adam 优化器对超参数进行优化，dropout 率为 0.01，L1 正则化系数为 10e-4，以增强泛化能力。
• 模型训练在 Google Cloud Platform 实例上进行，配备 Tesla K80 GPU，使用批量大小为 128，共训练 50 个周期。

实验结果

研究问题

• RQ1 将 BERT 的上下文嵌入与 LDA 衍生的主题结合，是否能提升在原始微博数据上的情感分类准确率？
• RQ2 主题建模与上下文嵌入的融合如何影响所发现主题的一致性与可解释性？
• RQ3 在 T-BERT 框架中，能最大化主题一致性与情感分类性能的最优主题数（k）是多少？
• RQ4 使用自编码器对齐 BERT 与 LDA 表示，是否能相比独立的 LDA 或 BERT 聚类，带来更优的主题聚类与语义分组？
• RQ5 T-BERT 框架在真实世界、无监督微博数据集上的情感分类任务中，相较于标准 BERT 和仅 LDA 模型，性能提升程度如何？

主要发现

• T-BERT 模型在测试集上实现了 90.81% 的情感分类准确率，显著优于基线模型。
• LDA+BERT 融合模型的 coherence score 达到 0.56，高于 LDA（0.501）和 BERT 聚类（0.521），表明主题质量得到提升。
• LDA+BERT 模型的轮廓系数达到 0.46，表明主题聚类分离良好且具有语义意义，而 BERT 仅聚类的轮廓系数仅为 0.044。
• k=8 个主题的词云可视化结果表明，高频且语境相关的词语被有效聚类，增强了主题的可解释性。
• 模型在各类别上的准确率为：正面情感 96%，负面情感 78%，中性情感 69%，表明在正面情感检测方面表现优异。
• 带有 L1 正则化和 dropout（0.01）的自编码器有效减少了过拟合，训练/验证损失曲线显示出稳定的收敛趋势。