[论文解读] Investigating User Radicalization: A Novel Dataset for Identifying Fine-Grained Temporal Shifts in Opinion

Flora Sakketou, Allison Lahnala+2 more|arXiv (Cornell University)|Apr 16, 2022

Opinion Dynamics and Social Influence被引用 7

一句话总结

本文介绍了 SPINOS，这是一个新颖的标注数据集，包含 3.5K 条 Reddit 帖子，针对社会政治话题在时间维度和对话线程内部的立场极性和强度进行了细粒度标注。该数据集通过结合用户中心的纵向标注与线程内立场动态，实现了对细微意见变化的建模，利用非专家多数投票实现了专家级的标注质量，并为立场检测与意见演化分析提供了强有力的基线。

ABSTRACT

There is an increasing need for the ability to model fine-grained opinion shifts of social media users, as concerns about the potential polarizing social effects increase. However, the lack of publicly available datasets that are suitable for the task presents a major challenge. In this paper, we introduce an innovative annotated dataset for modeling subtle opinion fluctuations and detecting fine-grained stances. The dataset includes a sufficient amount of stance polarity and intensity labels per user over time and within entire conversational threads, thus making subtle opinion fluctuations detectable both in long term and in short term. All posts are annotated by non-experts and a significant portion of the data is also annotated by experts. We provide a strategy for recruiting suitable non-experts. Our analysis of the inter-annotator agreements shows that the resulting annotations obtained from the majority vote of the non-experts are of comparable quality to the annotations of the experts. We provide analyses of the stance evolution in short term and long term levels, a comparison of language usage between users with vacillating and resolute attitudes, and fine-grained stance detection baselines.

研究动机与目标

• 为解决在社交媒体中建模细粒度时间意见动态方面缺乏公开可用的高质量数据集的问题。
• 支持对用户层面长期意见演化与对话线程内短期波动的双重研究。
• 通过引入立场强度标注，研究在现有数据集中常被忽略的细微意见变化。
• 评估利用非专家标注者通过多数投票实现高质量立场标注的可行性。
• 为社会政治话语中意见摇摆与立场坚定的用户行为提供基线模型与实证洞察。

提出的方法

• 该数据集 SPINOS 收集了 3.5K 条关于堕胎、枪支管控等社会政治话题的 Reddit 帖子，对立场极性和强度进行了标注。
• 对每位用户的帖子按时间顺序进行标注，以支持意见变化的纵向分析。
• 对所有对话线程内的立场进行标注，以研究线程内意见动态与一致性。
• 招募非专家标注者，并通过与专家标注的一致性进行验证；最终标签通过多数投票确定。
• 采用多阶段标注流程确保质量控制，其中专家对数据的重要子集进行验证。
• 基于五项分类任务（立场极性、强度及联合分类）的加权 F1 评分训练基线模型。

实验结果

研究问题

• RQ1 用户立场如何随时间演变？长期意见变化中呈现出何种模式？
• RQ2 在对话线程内部，立场如何变化——用户是改变了极性，还是仅改变了强度？
• RQ3 哪些语言特征可区分意见摇摆者与立场稳定者？
• RQ4 非专家标注者能否在细粒度立场强度标注上达到与专家相当的标注质量？
• RQ5 强度与极性波动如何与语言风格、参与度及外部事件相关联？

主要发现

• 非专家标注者的多数投票结果在标注质量上与专家相当，经由标注者间一致性分析得到验证。
• 用户频繁随时间改变立场极性，但大多数人仅对某一极表现出强烈情绪投入，表明情感投入存在不对称性。
• 在对话线程内部，意见变化主要体现在强度而非极性上，表明变化是渐进且细微的。
• 意见摇摆者表现出独特的语言模式，其词汇中特定词类更为常见。
• 表现最佳的模型在细粒度立场检测任务上取得了 0.652 的加权 F1 分数，表明该数据集支持具有挑战性且高精度的建模。
• 该数据集为意见动态研究开辟了新方向，包括强度持续性、语言风格匹配以及与立场变化相关的感情表达。