[论文解读] Identifying Users with Opposing Opinions in Twitter Debates

Ashwin Rajadesingan, Huan Liu|arXiv (Cornell University)|Feb 28, 2014

Sentiment Analysis and Opinion Mining参考文献 7被引用 11

一句话总结

本文提出 ReLP，一种半监督框架，通过利用转发行为和最少的人工标注种子用户，识别 Twitter 辩论中持对立观点的用户。通过结合基于转发的标签传播与监督分类器，ReLP 在中等程度有观点的用户上达到 95.01% 的 F1 值，在明显有观点的用户上达到 95.85%，显著优于基线方法，且人工干预极少。

ABSTRACT

In recent times, social media sites such as Twitter have been extensively used for debating politics and public policies. These debates span millions of tweets and numerous topics of public importance. Thus, it is imperative that this vast trove of data is tapped in order to gain insights into public opinion especially on hotly contested issues such as abortion, gun reforms etc. Thus, in our work, we aim to gauge users' stance on such topics in Twitter. We propose ReLP, a semi-supervised framework using a retweet-based label propagation algorithm coupled with a supervised classifier to identify users with differing opinions. In particular, our framework is designed such that it can be easily adopted to different domains with little human supervision while still producing excellent accuracy

研究动机与目标

• 减少在 Twitter 上训练立场检测监督分类器时的人工标注负担。
• 开发一种可扩展的半监督框架，可在极少监督下适应新领域。
• 准确分类从高度显见的活动人士到中等程度有观点的普通用户在内的各类用户，涵盖枪支改革等争议性话题。
• 利用转发网络作为观点一致性的代理，利用社交网络结构高效传播标签。
• 证明少量种子用户（如政治人物、组织）即可实现对多样化用户群体的高精度分类。

提出的方法

• ReLP 使用基于转发的标签传播算法，从少量人工标注的种子用户推断用户立场。
• 标签传播步骤利用转发网络，将标签从种子用户传播至连接用户，假设转发行为具有同质性。
• 使用传播得到的标签作为训练数据，对 tweet 文本的 unigram、bigram 和 trigram 训练多项式朴素贝叶斯分类器。
• 该框架可通过仅提供关键意见领袖列表作为种子用户实现跨领域迁移，无需语言学专业知识。
• 结合半监督学习与监督分类，实现仅用极少人工标注数据即可获得高精度。
• 该方法在两类用户群体上进行评估：明显有观点的用户（如政治人物）和中等程度有观点的用户（如仅发布 2–4 条推文的普通用户）。

实验结果

研究问题

• RQ1 基于转发的半监督标签传播框架是否能有效识别争议话题中用户立场，且仅需极少人工标注数据？
• RQ2 ReLP 在分类 Twitter 上明显有观点和中等程度有观点用户时，与监督基线方法相比表现如何？
• RQ3 该框架在表达能力与参与度各不相同的多样化用户群体中，性能是否保持一致？
• RQ4 ReLP 的性能对种子用户的选择和数量有多敏感？
• RQ5 转发行为在 Twitter 政治辩论中是否可作为观点一致性的可靠代理？

主要发现

• ReLP 在中等程度有观点的用户上达到 95.01% 的 F1 值，显著优于基线方法。
• 在明显有观点的用户上，ReLP 达到 95.85% 的 F1 值，表明其在不同用户类型间具有强大泛化能力。
• 该框架在两类用户群体中的 F1 值均保持高度稳定，而基线方法的性能则出现波动。
• ReLP 在中等程度有观点用户上的精确率和召回率分别为 96.73% 和 93.36%，表明其具有高可靠性。
• ReLP 在所有评估指标上均优于所有基线方法（B1, B2, B3），尤其在明显有观点用户群体中优势最大。
• 结果证实，转发网络可有效从极小种子集传播标签，实现可扩展且高精度的立场检测。