[논문 리뷰] Making a Radical Misogynist: How online social engagement with the Manosphere influences traits of radicalization

Hussam Habib, Padmini Srinivasan외 1명|arXiv (Cornell University)|2022. 02. 17.

Hate Speech and Cyberbullying Detection참고 문헌 68인용 수 5

한 줄 요약

이 연구는 레딧에서 맨소포어(Manosphere)와의 온라인 사회적 상호작용이 사용자의 극단주의적 특성 수용에 어떻게 영향을 미치는지 분석하며, 언어적 및 행동적 분석을 통해 언어, 분노, 외집단 식별, 내집단 유대감의 변화를 추적한다. 연구 결과, 맨소포어 커뮤니티에의 참여—특히 엘리트와의 상호작용—은 극단화 특성을 크게 증가시키며, 커뮤니티에서의 기각은 독성과 고립을 악화시켜 알고리즘보다 사회적 동역학이 온라인 극단화에 더 중요한 역할을 한다는 점을 시사한다.

ABSTRACT

The algorithms and the interactions facilitated by online platforms have been used by radical groups to recruit vulnerable individuals to their cause. This has resulted in the sharp growth of violent events and deteriorating online discourse. The Manosphere, a collection of radical anti-feminist communities, is one such group which has attracted attention due to their rapid growth and increasingly violent real world outbursts. In this paper, we examine the social engagements between Reddit users who have participated in feminist discourse and the Manosphere communities on Reddit to understand the process of development of traits associated with the adoption of extremist ideologies. By using existing research on the psychology of radicalization we track how specific types of social engagement with the Manosphere influence the development of traits associated with radicalization. Our findings show that: (1) participation, even by the simple act of joining the Manosphere, has a significant influence on the language and outlook traits of a user, (2) Manosphere elites are extremely effective propagators of radical traits and cause their increase even outside the Manosphere, and (3) community perception can heavily influence a user's behavior. Finally, we examine how our findings can help draft community and platform moderation policies to help mitigate the problem of online radicalization.

연구 동기 및 목표

• 온라인 맨소포어와의 상호작용이 극단주의 이데올로기에 수용되는 심리적 및 사회적 메커니즘을 이해한다.
• 특히 맨소포어 엘리트와의 사용자 간 상호작용이 분노, 외집단 식별, 내집단 유대감 등의 극단화 특성 발달에 어떻게 영향을 미치는지 조사한다.
• 커뮤니티 인식(수용 또는 기각)이 사용자의 행동 및 언어적 변화가 극단주의로 이르는 데 미치는 영향을 분석한다.
• 플랫폼 설계 및 콘텐츠 커리레이션의 역할을 분석하여, 사회적 피드백 메커니즘을 통해 극단화가 어떻게 촉진되거나 완화될 수 있는지 밝힌다.
• 사용자 참여 패턴에서의 간섭 지점과 행동 경고 신호를 특정함으로써 플랫폼 모더레이션 정책을 개선한다.

제안 방법

• 여성주의 논의에 참여하는 사용자와 맨소포어 커뮤니티에 속한 사용자 간의 상호작용을 중심으로 레딧에서 사용자 수준의 사회적 상호작용 데이터를 수집하고 분석한다.
• NLP 기법을 사용하여 맨소포어와의 상호작용 전후 언어적 특성(예: 분노, 집착, 독성, 외집단 식별)의 변화를 추적한다.
• 행동 변화 모델링을 적용하여 커뮤니티 가입 또는 커뮤니티 기각과 같은 핵심 사건이 극단화 특성의 변화를 유도하는지 확인한다.
• 모금 유도 상호작용과 모집 상호작용을 구분하여 각각이 극단화 결과에 미치는 영향을 평가한다.
• 맨소포어 엘리트의 영향력을 분석하기 위해 그들의 상호작용 패턴과 연결된 사용자들의 후속 행동 변화를 측정한다.
• 커뮤니티 인식 지표(수용/기각)를 사용하여 그 영향을 분석하며, 특히 독성 증가와 정서적 고통 측면에서 사용자 행동에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 맨소포어에의 참여—단순 가입조차도—사용자의 극단화와 관련된 언어적 및 심리적 특성에 어떤 영향을 미치는가?
• RQ2 맨소포어 엘리트와의 상호작용은 사용자의 극단화 특성 발달에 얼마나 큰 영향을 미치며, 맨소포어 외부 커뮤니티의 사용자에게도 영향을 미치는가?
• RQ3 커뮤니티 인식(수용 또는 기각)은 사용자의 행동 및 정서적 반응, 특히 독성과 외집단 식별에 어떻게 영향을 미치는가?
• RQ4 모집 상호작용과 모금 유도 상호작용은 극단화에 비해 어떤 차이가 있으며, 어떤 것이 더 강력한 영향을 미치는가?
• RQ5 플랫폼 수준의 사회적 메커니즘(예: 투표, 업/다운보팅)은 사회적 피드백 루프를 통해 어떻게 극단주의 행동을 증폭시키는가?

주요 결과

• 맨소포어에의 참여—단순 가입조차도—사용자의 분노 표현, 외집단 식별, 독성 언어 사용에 상당한 증가를 초래한다.
• 맨소포어 엘리트는 극단주의적 특성을 매우 효과적으로 확산시키며, 그 영향력은 맨소포어 외부로까지 확장되어 일반 커뮤니티의 사용자에게도 영향을 미친다.
• 커뮤니티 기각—특히 맨소포어 외부 커뮤니티로부터의 기각—은 부정적인 시각, 독성, 분노 표현을 심화시키며 내집단 유대감을 감소시킨다.
• 맨소포어 커뮤니티 내 수용은 집착, 독성, 외집단 식별의 급격한 증가를 유도하며, 이는 수용이 극단주의적 행동을 강화함을 시사한다.
• 지속적인 메시징을 통해 개념화된 외집단을 대상으로 하는 모집 상호작용은 단발성 모금 유도 상호작용보다 분노와 외집단 식별에 더 강력한 영향을 미친다.
• 레딧과 같은 플랫폼의 콘텐츠 커리레이션 시스템 설계—특히 사용자 기반의 투표 및 가시성 메커니즘—은 사회적 기각과 고립을 가능하게 하여 의도치 않게 에코 챔버를 강화하고 극단화를 증폭시킬 수 있다.