[论文解读] An LSTM model for Twitter Sentiment Analysis

Md Parvez Mollah|arXiv (Cornell University)|Dec 4, 2022

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

本文提出了一种微调的LSTM模型，用于使用从七个公开可用的手动标注Twitter情感数据集整合而成的新数据集进行Twitter情感分析。该模型在整体准确率上达到68%，显著优于基于规则的VADER工具（51%），尤其在识别正面和负面情感方面表现更优，尽管对中性情感的识别性能仍较低。

ABSTRACT

Sentiment analysis on social media such as Twitter provides organizations and individuals an effective way to monitor public emotions towards them and their competitors. As a result, sentiment analysis has become an important and challenging task. In this work, we have collected seven publicly available and manually annotated twitter sentiment datasets. We create a new training and testing dataset from the collected datasets. We develop an LSTM model to classify sentiment of a tweet and evaluate the model with the new dataset.

研究动机与目标

• 解决现有模型因数据集特定偏差和过拟合导致的Twitter情感分析性能不一致问题。
• 通过整合七个公开可用的手动标注Twitter情感数据集，创建一个统一且平衡的训练与测试数据集。
• 在新构建的数据集上开发并评估基于LSTM的深度学习模型，以提升情感分类的泛化能力。
• 在准确率和运行时间方面，将所提出的LSTM模型与广泛使用的基于词典的VADER工具进行性能比较。

提出的方法

• 作者收集了七个手动标注的Twitter情感数据集，并在过滤掉无关和混合标签的样本后，将其合并为一个单一且平衡的数据集。
• 文本预处理包括使用标准化的替换模式对哈希标签、用户名、URL、表情符号和标点符号进行归一化，以减少特征稀疏性。
• 使用预训练的GloVe向量学习词嵌入，将分词后的词语转换为固定大小的密集向量，作为LSTM的输入。
• 采用包含单个100个神经元隐藏层、ReLU激活函数和Sigmoid输出层的LSTM架构，用于正面、负面和中性情感的二元分类。
• 使用分类交叉熵损失、Adam优化器、50个周期和256的批量大小进行模型训练，以准确率为评估指标。
• 在20%的测试集上评估性能，并将结果与VADER情感分析工具在整体准确率和各类别准确率上的表现进行比较。

实验结果

研究问题

• RQ1 能否通过整合多个手动标注的Twitter情感数据集，构建统一的合并数据集，从而提升情感分类中的模型泛化能力？
• RQ2 基于LSTM的深度学习模型与基于规则的词典方法（如VADER）相比，在Twitter情感分类中的表现如何？
• RQ3 LSTM模型与VADER在正面、负面和中性情感类别上的性能差异是什么？
• RQ4 使用预训练的GloVe嵌入在多大程度上限制了模型捕捉基于表情符号和标点符号的情感线索的能力？

主要发现

• 所提出的LSTM模型在测试集上达到68%的整体准确率，显著优于VADER的51%准确率。
• 该模型在分类正面情感样本时准确率最高（77%），其次为负面情感（68%），中性情感最低（61%）。
• VADER在负面情感样本上的准确率仅为44%，在中性情感样本上为43%，表明其在非正面情感类别上的表现较差。
• LSTM模型训练耗时10分钟，使用预训练模型进行推理仅需10秒，而VADER仅需3秒，表明存在准确率与速度之间的权衡。
• 作者观察到，GloVe嵌入中缺乏针对表情符号的特定向量表示，可能限制了模型性能，尤其是在依赖表情符号的情感线索上。
• 该研究建议引入注意力机制可能有助于模型更关注关键情感指示符（如表情符号和标点符号），从而潜在提升模型准确率。