[论文解读] Enhanced Twitter Sentiment Classification Using Contextual Information

Soroush Vosoughi, Helen Zhou+1 more|DSpace@MIT (Massachusetts Institute of Technology)|May 17, 2016

Sentiment Analysis and Opinion Mining参考文献 13被引用 12

一句话总结

本文提出了一种用于 Twitter 的贝叶斯情感分类器，通过整合上下文元数据（如时间、位置、作者和星期几）与标准的 n-gram 特征，以提高情感分类的准确性。通过利用远程监督对数百万条带有地理标签的推文进行自动标注，该模型实现了 86.2% 的准确率，相较于基线 n-gram 模型相对提升了 10%，表明上下文信息在低资源、短文本情感分析中显著提升了性能。

ABSTRACT

The rise in popularity and ubiquity of Twitter has made sentiment analysis of tweets an important and well-covered area of research. However, the 140 character limit imposed on tweets makes it hard to use standard linguistic methods for sentiment classification. On the other hand, what tweets lack in structure they make up with sheer volume and rich metadata. This metadata includes geolocation, temporal and author information. We hypothesize that sentiment is dependent on all these contextual factors. Different locations, times and authors have different emotional valences. In this paper, we explored this hypothesis by utilizing distant supervision to collect millions of labelled tweets from different locations, times and authors. We used this data to analyse the variation of tweet sentiments across different authors, times and locations. Once we explored and understood the relationship between these variables and sentiment, we used a Bayesian approach to combine these variables with more standard linguistic features such as n-grams to create a Twitter sentiment classifier. This combined classifier outperforms the purely linguistic classifier, showing that integrating the rich contextual information available on Twitter into sentiment classification is a promising direction of research.

研究动机与目标

• 通过整合常被标准语言方法忽略的地理定位、时间与作者身份等上下文元数据，提升 Twitter 情感分类性能。
• 探究 Twitter 上的情感表达是否在不同空间、时间与作者语境中系统性地变化。
• 开发一种可扩展的数据驱动方法，利用远程监督估算多样化上下文类别中的先验情感概率。
• 通过贝叶斯推断将上下文先验与传统 n-gram 模型结合，以提升分类的鲁棒性与准确性。
• 将上下文模型的性能与最先进远程监督分类器进行评估，尤其关注低资源环境下的表现。

提出的方法

• 对 2012–2014 年间获取的数百万条带有地理标签、时间戳和作者标签的推文应用远程监督，利用外部情感词典自动标注情感。
• 通过标注推文的聚合情感得分，为每个上下文类别（州、小时、星期几、月份、作者）估算先验情感概率。
• 采用贝叶斯框架将这些特定于上下文的先验与标准的二元语法语言模型结合，生成混合情感分类器。
• 使用五折交叉验证进行模型训练与性能评估，确保各折之间无数据泄露。
• 定期重新计算情感先验，以应对公众情感随时间的变化，如季节性或社会经济因素的影响。
• 最终分类器在单一模型中整合所有上下文变量（州、小时、星期、月份、作者），以最大化预测能力。

实验结果

研究问题

• RQ1 Twitter 上的情感表达是否在不同地理位置、一天中的不同时段、星期几、月份以及不同作者之间系统性地变化？
• RQ2 能否通过大规模自动标注数据获得的特定于上下文的情感先验，提升标准 n-gram 情感分类器的性能？
• RQ3 在短文本、噪声较大的 Twitter 文本中，整合空间、时间与基于作者的元数据在多大程度上能提升情感分类的准确性？
• RQ4 上下文感知的贝叶斯分类器相较于纯语言模型与现有远程监督方法，性能表现如何？
• RQ5 该模型能否通过依赖时间、作者及其他可用元数据，推广至无地理标签的推文？

主要发现

• 上下文分类器实现了 86.2% 的准确率，相较于基线二元语法模型相对提升 10%，绝对提升 8%。
• 基于州的先验对性能贡献最大，单独使用时准确率达到 84.9%，凸显了地理位置对情感的强烈影响。
• 一天中的小时是预测力最强的时间特征，单独使用时准确率达到 82.1%。
• 基于作者的先验准确率达到 82.9%，表明个体用户在长时间内表现出稳定的情感基线。
• 即使不使用州信息，模型仍实现了 84.3% 的准确率，证明仅依靠时间、作者与时间元数据即可实现优异性能。
• 完整上下文模型在绝对准确率上比 prior state-of-the-art 远程监督分类器高出超过 3 个百分点。