[论文解读] Efficient Twitter Sentiment Classification using Subjective Distant Supervision

Tapan Sahni, Chinmay Chandak+2 more|arXiv (Cornell University)|Jan 11, 2017

Sentiment Analysis and Opinion Mining参考文献 10被引用 6

一句话总结

本文提出一种基于主观性的过滤技术，结合有效词分值（EFWS）启发式方法，以加速Twitter情感分类并提升准确率。通过仅选择高度主观的推文，并利用高频词的极性得分，该方法在10万条推文数据集上实现了约85%的准确率——仅为基线数据量的一半——同时训练速度提升至两倍，且在速度与精度方面均优于当前最先进模型。

ABSTRACT

As microblogging services like Twitter are becoming more and more influential in today's globalised world, its facets like sentiment analysis are being extensively studied. We are no longer constrained by our own opinion. Others opinions and sentiments play a huge role in shaping our perspective. In this paper, we build on previous works on Twitter sentiment analysis using Distant Supervision. The existing approach requires huge computation resource for analysing large number of tweets. In this paper, we propose techniques to speed up the computation process for sentiment analysis. We use tweet subjectivity to select the right training samples. We also introduce the concept of EFWS (Effective Word Score) of a tweet that is derived from polarity scores of frequently used words, which is an additional heuristic that can be used to speed up the sentiment classification with standard machine learning algorithms. We performed our experiments using 1.6 million tweets. Experimental evaluations show that our proposed technique is more efficient and has higher accuracy compared to previously proposed methods. We achieve overall accuracies of around 80% (EFWS heuristic gives an accuracy around 85%) on a training dataset of 100K tweets, which is half the size of the dataset used for the baseline model. The accuracy of our proposed model is 2-3% higher than the baseline model, and the model effectively trains at twice the speed of the baseline model.

研究动机与目标

• 解决大规模Twitter情感模型训练带来的高计算成本问题。
• 在计算资源有限的情况下提升分类准确率。
• 在不牺牲模型性能的前提下减少训练时间。
• 探索将推文主观性作为数据采样中情感相关性的代理指标。
• 提出一种新颖的EFWS启发式方法，通过利用常见词的极性得分提升准确率。

提出的方法

• 使用基于TextBlob和OpinionFinder工具推导出的主观性阈值过滤训练推文，仅保留高度主观的内容。
• 将主观性水平作为启发式方法，优先选择情感表达更强的推文，以减少噪声并提升特征的相关性。
• 基于频繁使用词汇的极性得分，计算推文的有效词分值（EFWS），作为快速、基于规则的情感分类器。
• 在应用朴素贝叶斯、支持向量机（SVM）和逻辑回归等标准机器学习模型之前，将EFWS作为预过滤步骤。
• 应用广泛的预处理以增强模型在多样化推文表达中的鲁棒性与泛化能力。
• 将模型性能与训练时间与基于160万条推文的基线远程监督模型进行对比，评估数据集为10万条训练推文与5,000条测试推文。

实验结果

研究问题

• RQ1 基于主观性的推文过滤是否能在减少训练时间的同时提升情感分类准确率？
• RQ2 引入EFWS启发式方法对情感分类模型的整体准确率有何影响？
• RQ3 在数据量减少与模型性能之间取得平衡的最优主观性阈值是多少？
• RQ4 在速度与准确率方面，更小的主观性过滤数据集是否优于更大的未过滤基线数据集？
• RQ5 主观性过滤在不损失关键情感信号的前提下，能在多大程度上减少情感标注数据中的噪声？

主要发现

• 所提方法在10万条推文的训练集上实现了约80%的整体准确率，较在20万条推文上训练的基线模型高出2-3个百分点。
• 在引入EFWS启发式方法后，模型在相同10万条推文数据集上的准确率达到约85%，显著优于基线模型。
• 与基线模型相比，训练时间减少了约50%，在相同硬件上训练速度提升至两倍。
• 在主观性阈值为0.8时，使用独词特征的逻辑回归模型达到81.77%的准确率，证明了高阈值过滤的有效性。
• 独词特征的训练时间减少最为显著，但即使在使用独词+双词特征时，速度优势依然存在。
• 结果表明，主观性过滤不仅减少了计算量，还通过聚焦于更具情感相关性、更少噪声的数据，提升了模型性能。