[论文解读] Making a Radical Misogynist: How online social engagement with the Manosphere influences traits of radicalization

Hussam Habib, Padmini Srinivasan+1 more|arXiv (Cornell University)|Feb 17, 2022

Hate Speech and Cyberbullying Detection参考文献 68被引用 5

一句话总结

本研究探讨了用户在Reddit上与男性至上主义网络社群（Manosphere）的在线社交互动如何影响其极端主义特质的采纳，通过语言与行为分析追踪语言、愤怒情绪、外群身份认同及内群忠诚度的变化。研究发现，参与男性至上主义社群——尤其是与精英成员互动——会显著加剧极端化倾向；而社群排斥则加剧毒性与孤立感，凸显社交动态在在线极端化过程中的作用，而非算法机制。

ABSTRACT

The algorithms and the interactions facilitated by online platforms have been used by radical groups to recruit vulnerable individuals to their cause. This has resulted in the sharp growth of violent events and deteriorating online discourse. The Manosphere, a collection of radical anti-feminist communities, is one such group which has attracted attention due to their rapid growth and increasingly violent real world outbursts. In this paper, we examine the social engagements between Reddit users who have participated in feminist discourse and the Manosphere communities on Reddit to understand the process of development of traits associated with the adoption of extremist ideologies. By using existing research on the psychology of radicalization we track how specific types of social engagement with the Manosphere influence the development of traits associated with radicalization. Our findings show that: (1) participation, even by the simple act of joining the Manosphere, has a significant influence on the language and outlook traits of a user, (2) Manosphere elites are extremely effective propagators of radical traits and cause their increase even outside the Manosphere, and (3) community perception can heavily influence a user's behavior. Finally, we examine how our findings can help draft community and platform moderation policies to help mitigate the problem of online radicalization.

研究动机与目标

• 理解用户在线参与男性至上主义社群如何导致极端意识形态采纳的心理与社会机制。
• 探究用户间互动（尤其是与男性至上主义社群精英的互动）如何影响愤怒、外群身份认同与内群忠诚度等极端化特质的发展。
• 分析社群认知（接纳或排斥）对用户行为与语言特征向极端化转变的影响。
• 考察平台设计与内容筛选机制在通过社交反馈机制促进或抑制极端化过程中的作用。
• 通过识别用户互动模式中的干预节点与行为预警信号，为平台内容审核政策提供建议。

提出的方法

• 收集并分析Reddit上的用户级社交互动数据，重点关注参与女性主义话语的用户与男性至上主义社群用户之间的互动。
• 运用自然语言处理（NLP）技术，追踪用户在接触男性至上主义社群前后语言特征（如愤怒、执念、毒性、外群身份认同）的变化。
• 应用行为变化建模方法，识别关键事件（如加入社群或遭遇社群排斥）如何触发极端化特质的转变。
• 区分“主动引荐”与“招募”互动，评估其对极端化结果的相对影响。
• 通过分析精英成员的互动模式及其对关联用户产生的后续行为变化，衡量男性至上主义精英的影响。
• 利用社群认知指标（接纳/排斥）评估其对用户行为的影响，特别是对毒性与情绪困扰的加剧作用。

实验结果

研究问题

• RQ1 参与男性至上主义社群——即使仅是被动加入——如何影响用户与极端化相关的语言与心理特质？
• RQ2 与男性至上主义社群精英的互动在多大程度上影响用户极端化特质的发展，无论其是否身处该社群？
• RQ3 社群认知（接纳或排斥）如何塑造用户的言行与情绪反应，特别是在毒性与外群身份认同方面？
• RQ4 招募互动与引荐互动在推动极端化方面有何差异？
• RQ5 平台级社交机制（如投票、点赞/点踩）如何通过社交反馈回路放大极端行为？

主要发现

• 参与男性至上主义社群，即使仅是加入，也会显著增加用户表达愤怒、外群身份认同与毒性语言的程度。
• 男性至上主义社群精英在传播极端特质方面极为有效，其影响力不仅限于社群内部，还延伸至一般社群中的用户。
• 社群排斥——尤其是来自非男性至上主义社群的排斥——会加剧负面情绪、毒性与愤怒，同时削弱内群认同感。
• 在男性至上主义社群中获得社会接纳，会显著提升用户对执念、毒性与外群身份认同的表达，表明接纳会强化极端行为。
• 招募互动（即持续向特定外群发送信息）对愤怒与外群身份认同的影响，强于一次性引荐互动。
• 像Reddit这样的平台的内容筛选系统设计——尤其是用户驱动的投票与可见性机制——可能无意中强化回音室效应，通过促进社交排斥与孤立，加剧极端化。