[論文レビュー] Making a Radical Misogynist: How online social engagement with the Manosphere influences traits of radicalization

Hussam Habib, Padmini Srinivasan+1 more|arXiv (Cornell University)|Feb 17, 2022

Hate Speech and Cyberbullying Detection参考文献 68被引用数 5

ひとこと要約

本研究は、Redditにおけるマノスフィアとのオンラインでの社会的関与が、ユーザーの極端主義的特徴の受容にどのように影響するかを、言語的および行動的分析を用いて調査する。言語、怒り、他者集団への帰属意識、内的集団への忠誠心の変化を追跡した結果、マノスフィアコミュニティへの参加、特にエリートとの相互作用が、急進化の特徴を顕著に増加させることを明らかにした。一方、コミュニティからの排斥は、有毒性と孤立を助長し、オンラインの急進化においてアルゴリズムよりも社会的ダイナミクスの役割が顕著であることを示唆している。

ABSTRACT

The algorithms and the interactions facilitated by online platforms have been used by radical groups to recruit vulnerable individuals to their cause. This has resulted in the sharp growth of violent events and deteriorating online discourse. The Manosphere, a collection of radical anti-feminist communities, is one such group which has attracted attention due to their rapid growth and increasingly violent real world outbursts. In this paper, we examine the social engagements between Reddit users who have participated in feminist discourse and the Manosphere communities on Reddit to understand the process of development of traits associated with the adoption of extremist ideologies. By using existing research on the psychology of radicalization we track how specific types of social engagement with the Manosphere influence the development of traits associated with radicalization. Our findings show that: (1) participation, even by the simple act of joining the Manosphere, has a significant influence on the language and outlook traits of a user, (2) Manosphere elites are extremely effective propagators of radical traits and cause their increase even outside the Manosphere, and (3) community perception can heavily influence a user's behavior. Finally, we examine how our findings can help draft community and platform moderation policies to help mitigate the problem of online radicalization.

研究の動機と目的

• オンラインでのマノスフィアとの関与が、極端主義的イデオロギーを受容する心理的および社会的メカニズムを理解すること。
• 特にマノスフィアのエリートとのユーザー間相互作用が、怒り、他者集団への帰属意識、内的集団への忠誠心といった急進化の特徴の発展にどのように影響するかを調査すること。
• コミュニティの認識（受容 vs. 拒絶）が、ユーザーの行動的および言語的変化が極端主義にどのように影響するかを分析すること。
• プラットフォーム設計とコンテンツキュレーションが、社会的フィードバックメカニズムを通じて急進化を助長または緩和する役割を果たすメカニズムを検証すること。
• ユーザーの関与パターンにおける干渉のポイントと行動的アラートサインを同定することで、プラットフォームのモデレーションポリシーを支援すること。

提案手法

• フェミニストディスコースに参加するユーザーとマノスフィアコミュニティに参加するユーザーとの間の相互作用に焦点を当て、Redditからユーザー単位の社会的関与データを収集・分析する。
• NLP技術を用いて、マノスフィアとの関与前後における言語的特徴（例：怒り、執着、有毒性、他者集団への帰属意識）の変化を追跡する。
• 行動変化モデリングを適用し、コミュニティへの参加やコミュニティからの拒絶といった重要な出来事の、急進化特徴への変化を引き起こす要因を特定する。
• 誘致（スカウト）と募集（勧誘）の相互作用を区別し、それらが急進化結果に与える相対的影響を評価する。
• マノスフィアのエリートの影響を、彼らの関与パターンと関連ユーザーのその後の行動的変化を分析することで測定する。
• コミュニティ認識指標（受容／拒絶）を用いて、特に有毒性や感情的苦痛の増加という観点から、ユーザー行動に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 マノスフィアへの参加（単なる参加でさえも）は、ユーザーの急進化関連の言語的および心理的特徴にどのように影響するか？
• RQ2 マノスフィアのエリートとの相互作用は、マノスフィア内および外のユーザーにおいて、急進化特徴の発展にどの程度影響を及えるか？
• RQ3 コミュニティ認識（受容または拒絶）は、特に有毒性と他者集団への帰属意識という観点から、ユーザーの行動的および感情的反応にどのように影響を及えるか？
• RQ4 急進化を促進する観点から、募集の相互作用と誘致の相互作用には、どのような違いがあるか？
• RQ5 プラットフォームレベルの社会的メカニズム（例：投票、アップ／ダウン投票）は、社会的フィードバックループを通じて、どのように極端主義的行動を拡大するか？

主な発見

• マノスフィアへの参加、たとえ単なる参加であっても、ユーザーの怒りの表現、他者集団への帰属意識、有毒な言語の使用が顕著に増加することが明らかになった。
• マノスフィアのエリートは、急進的特徴を広める上で極めて効果的であり、その影響はマノスフィアを越えて一般コミュニティのユーザーに対しても及び、広範にわたる。
• コミュニティからの排斥、特に非マノスフィアコミュニティからの排斥は、否定的視点、有毒性、怒りの表現を強化し、内的集団への帰属意識を低下させた。
• マノスフィアコミュニティ内での受容は、執着、有毒性、他者集団への帰属意識の急激な増加をもたらし、受容が極端主義的行動を強化していることが示された。
• 一時的な誘致の相互作用よりも、特定の他者集団を標的とした継続的なメッセージ送信を含む募集の相互作用が、怒りと他者集団への帰属意識に強い影響を及えた。
• Redditのようなプラットフォームにおけるコンテンツキュレーションシステムの設計—特にユーザー主導の投票および可視性メカニズム—は、社会的拒絶や孤立を助長するため、意図せずエコーズチェンバーを強化し、急進化を拡大する要因となっている。