[论文解读] Approaches for Sentiment Analysis on Twitter: A State-of-Art study

Harsh Thakkar, Dhiren Patel|arXiv (Cornell University)|Dec 3, 2015

Sentiment Analysis and Opinion Mining参考文献 22被引用 48

一句话总结

本文全面综述了推特情感分析的最先进方法，涵盖词汇法、机器学习法及混合方法。文章评估了处理推特短文本、噪声文本的技术，利用推特流媒体API，并突出强调了实时情感检测与观点挖掘中的关键挑战与进展。

ABSTRACT

Microbloging is an extremely prevalent broadcast medium amidst the Internet fraternity these days. People share their opinions and sentiments about variety of subjects like products, news, institutions, etc., every day on microbloging websites. Sentiment analysis plays a key role in prediction systems, opinion mining systems, etc. Twitter, one of the microbloging platforms allows a limit of 140 characters to its users. This restriction stimulates users to be very concise about their opinion and twitter an ocean of sentiments to analyze. Twitter also provides developer friendly streaming API for data retrieval purpose allowing the analyst to search real time tweets from various users. In this paper, we discuss the state-of-art of the works which are focused on Twitter, the online social network platform, for sentiment analysis. We survey various lexical, machine learning and hybrid approaches for sentiment analysis on Twitter.

研究动机与目标

• 提供针对推特独特语言与结构约束量身定制的情感分析方法系统性综述。
• 识别并分类最有效的分析方法——词汇法、机器学习法与混合方法——用于分析短文本、噪声严重的微博文本。
• 考察推特开发者友好的流媒体API在支持实时数据采集以构建情感分析系统中的作用。
• 评估现有情感分析技术在捕捉用户对多样化主题的细微观点方面的性能与局限性。
• 通过整合2015年时的情感分析趋势、挑战与开放问题，为未来研究提供指导。

提出的方法

• 聚焦于2010至2015年间推特情感分析的同行评审文献的系统性文献综述。
• 将情感分析技术分类为三大类：基于词汇的方法（如情感词典）、基于机器学习的方法（如支持向量机、朴素贝叶斯）以及结合两者的混合模型。
• 分析推特数据中关键的预处理步骤，包括用户提及、话题标签、表情符号及俚语的处理。
• 评估特征工程策略，如n-gram、词性标注及上下文感知特征，以提升模型准确性。
• 将推特流媒体API作为实时情感追踪与模型训练的关键数据源。
• 在低资源与噪声较多的推特文本环境下，比较监督学习与半监督学习框架的性能。

实验结果

研究问题

• RQ1 在推特情感分析中，主流方法是什么？它们在性能与适用性方面有何差异？
• RQ2 基于词汇的方法与机器学习法及混合模型相比，在处理推特文本的短小、非正式与噪声特性方面表现如何？
• RQ3 推特流媒体API在支持实时情感分析与数据采集方面发挥何种作用？
• RQ4 推特情感分析中的关键挑战有哪些，如反讽、歧义与语言变体？
• RQ5 近期在特征工程与模型架构方面的进展如何提升了推特数据的情感分类准确性？

主要发现

• 基于词汇的方法，尤其是使用领域特定情感词典的方法，在简单情感分类任务中表现良好，但在处理上下文与反讽方面存在困难。
• 在标注过的推特数据集上进行训练时，支持向量机与朴素贝叶斯等机器学习模型的准确率高于基于词典的方法。
• 结合基于词典的特征与机器学习技术的混合模型优于单一方法，尤其在处理模糊或依赖上下文的表达时表现更优。
• 利用推特流媒体API可实现实时数据获取，使构建动态情感监测系统以追踪事件与趋势成为可能。
• 预处理技术如表情符号、话题标签与用户提及的处理显著提升了模型的鲁棒性与准确性。
• 尽管已有进展，反讽检测、多语言内容处理以及领域自适应等挑战仍是推特情感分析中显著的开放性问题。