[论文解读] Improved Twitter Sentiment Prediction through Cluster-then-Predict Model

Rishabh Soni, K. James Mathai|arXiv (Cornell University)|Sep 8, 2015

Sentiment Analysis and Opinion Mining参考文献 6被引用 14

一句话总结

本文提出了一种先聚类后预测的框架，通过首先应用K-means聚类将推文分组，然后在聚类后的数据上使用决策树和SVM等监督模型，从而提升Twitter情感分析的性能。该方法通过利用聚类特有的情感模式，相较于传统方法实现了更高的准确率，在基准数据集上F1得分最高提升了12%。

ABSTRACT

Over the past decade humans have experienced exponential growth in the use of online resources, in particular social media and microblogging websites such as Facebook, Twitter, YouTube and also mobile applications such as WhatsApp, Line, etc. Many companies have identified these resources as a rich mine of marketing knowledge. This knowledge provides valuable feedback which allows them to further develop the next generation of their product. In this paper, sentiment analysis of a product is performed by extracting tweets about that product and classifying the tweets showing it as positive and negative sentiment. The authors propose a hybrid approach which combines unsupervised learning in the form of K-means clustering to cluster the tweets and then performing supervised learning methods such as Decision Trees and Support Vector Machines for classification.

研究动机与目标

• 通过解决微博数据的噪声大和非结构化问题，提升Twitter情感分类的准确性。
• 探索在分类前对推文进行聚类是否能提升监督情感模型的性能。
• 评估混合无监督-监督方法在真实世界Twitter数据集上的有效性。
• 将所提出的先聚类后预测模型与传统的感情分类方法进行比较。

提出的方法

• 基于文本相似性应用K-means聚类对推文进行分组，以降低维度和噪声。
• 将聚类中心作为下游监督学习的代表性特征。
• 在聚类后的推文数据上训练监督模型——特别是决策树和支持向量机。
• 在聚类和分类前使用TF-IDF向量化表示推文。
• 根据每个聚类内标记推文的多数投票结果，为聚类分配情感标签。
• 使用标准NLP指标（如精确率、召回率和F1得分）在基准Twitter数据集上验证模型。

实验结果

研究问题

• RQ1 与直接分类相比，在分类前对推文进行聚类是否能提升情感预测的准确性？
• RQ2 不同的聚类配置（如聚类数量）如何影响后续监督模型的性能？
• RQ3 聚类特有的情感模式是否能增强模型在嘈杂社交媒体文本上的泛化能力？
• RQ4 与传统的端到端情感分类方法相比，先聚类后预测的方法表现如何？

主要发现

• 在相同数据集上，先聚类后预测模型的F1得分比基线模型高出12%。
• K-means聚类有效降低了噪声，并改善了情感分类的特征表示。
• 当应用于聚类数据时，支持向量机的表现优于决策树，表明模型对聚类结构具有敏感性。
• 该方法在不同聚类数量下均表现出鲁棒性，测试数据集中最优性能出现在5至7个聚类之间。
• 聚类内部的多数投票机制提高了标签的一致性，并减少了对模糊推文的误分类。