[论文解读] Event Outcome Prediction using Sentiment Analysis and Crowd Wisdom in Microblog Feeds

Rahul Radhakrishnan Iyer, Ronghuo Zheng+2 more|arXiv (Cornell University)|Dec 11, 2019

Sentiment Analysis and Opinion Mining参考文献 29被引用 11

一句话总结

本文提出了一种基于文档嵌入和主题特征的多标签情感分析框架，用于从微博情感中预测现实事件结果，如美国总统辩论胜者、格莱美奖和超级碗结果。研究发现，群体智慧在很大程度上与专家意见一致；当出现分歧时，专家评论会显著影响公众情绪，验证了在结合专家背景信息后，社交媒体情感可作为现实结果的可靠预测指标。

ABSTRACT

Sentiment Analysis of microblog feeds has attracted considerable interest in recent times. Most of the current work focuses on tweet sentiment classification. But not much work has been done to explore how reliable the opinions of the mass (crowd wisdom) in social network microblogs such as twitter are in predicting outcomes of certain events such as election debates. In this work, we investigate whether crowd wisdom is useful in predicting such outcomes and whether their opinions are influenced by the experts in the field. We work in the domain of multi-label classification to perform sentiment classification of tweets and obtain the opinion of the crowd. This learnt sentiment is then used to predict outcomes of events such as: US Presidential Debate winners, Grammy Award winners, Super Bowl Winners. We find that in most of the cases, the wisdom of the crowd does indeed match with that of the experts, and in cases where they don't (particularly in the case of debates), we see that the crowd's opinion is actually influenced by that of the experts.

研究动机与目标

• 探究社交媒体公众情绪（如Twitter）是否能可靠预测现实事件结果，如总统辩论、格莱美奖和超级碗结果。
• 考察群体智慧在事件结果预测中与专家意见的一致程度。
• 分析专家评论是否在总统辩论等高关注度事件中影响社交媒体公众情绪。
• 评估使用文档嵌入和主题特征的多标签分类方法在微博数据情感分析中的有效性。
• 评估社交媒体情感在多种事件类型中相对于专家判断的预测能力。

提出的方法

• 本研究采用多标签分类方法，每条推文同时标注情感极性和候选对象/类别，使用基于RaKeL的多标签分类器。
• 结合文档嵌入特征（捕捉上下文情感）和主题特征（表示推文主题内容），以提高分类准确率。
• 在结果预测中，系统聚合每位候选人或提名人的情感得分，并选择正向情感得分最高的作为预测胜者。
• 进行时间趋势分析，以考察公众情绪的变化及其与专家评论（特别是《华盛顿邮报》等媒体）的相关性。
• 模型在标注的训练数据上进行训练，并应用于三个事件领域（美国总统辩论、2013年格莱美奖、2013年超级碗）的未标注推文。
• 评估指标包括F1值和平均精度，预测列表设定为参与者数量的一半（或MVP预测的前10名），以确保公平性和可扩展性。

实验结果

研究问题

• RQ1 社交媒体公众情绪在多大程度上与专家对事件结果的预测一致？
• RQ2 在总统辩论等高风险事件中，专家评论在多大程度上影响社交媒体公众情绪？
• RQ3 使用文档嵌入和主题特征的多标签情感分类方法，能否有效预测格莱美奖和超级碗等多类别事件的胜者？
• RQ4 公众情绪随时间的变化趋势如何？其与专家评估的相关性如何？
• RQ5 当公众意见与专家意见出现分歧时，哪些因素（尤其是专家影响）解释了情绪的转变？

主要发现

• 群体情绪预测在大多数情况下与专家结果一致，尤其在格莱美奖和超级碗中，F1值均值分别为0.750和1.000。
• 在美国总统辩论中，系统预测的胜者与《华盛顿邮报》专家排名高度一致，表明公众情绪与专家判断之间存在强烈共识。
• 在意见分歧的情况下（如第五场共和党总统辩论），公众情绪与专家观点存在偏离，但次日情绪转向专家观点，表明专家具有显著影响力。
• RaKeL多标签分类器优于单标签模型，文档嵌入和主题特征在情感分类中表现最有效。
• 所有事件的平均F1值为0.636，平均平均精度为0.677，表明整体预测性能出色。
• 本研究证实，社交媒体情感，尤其是结合上下文和主题感知特征后，可作为专家判断在结果预测中的可靠代理。