[論文レビュー] Quantifying How Hateful Communities Radicalize Online Users

Matheus Schmitz, Keith Burghardt+1 more|arXiv (Cornell University)|Sep 19, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本研究では、Redditデータを用いた中断時系列（ITS）分析を通じて、憎悪のオンラインコミュニティに参加することで、他のサブレdditにおけるユーザーの嫌がらせ発言の使用が因果的に増加することを示した。人種差別、ミソジニー、肥満差別に関するコミュニティにおいて顕著な拡散効果が観察された。研究結果は、レッドィケーションがエコーカンバス内にとどまらず、プラットフォーム全体に広がることを示しており、こうしたコミュニティの管理がプラットフォーム全体の嫌がらせ発言を減らす可能性を示唆している。

ABSTRACT

While online social media offers a way for ignored or stifled voices to be heard, it also allows users a platform to spread hateful speech. Such speech usually originates in fringe communities, yet it can spill over into mainstream channels. In this paper, we measure the impact of joining fringe hateful communities in terms of hate speech propagated to the rest of the social network. We leverage data from Reddit to assess the effect of joining one type of echo chamber: a digital community of like-minded users exhibiting hateful behavior. We measure members' usage of hate speech outside the studied community before and after they become active participants. Using Interrupted Time Series (ITS) analysis as a causal inference method, we gauge the spillover effect, in which hateful language from within a certain community can spread outside that community by using the level of out-of-community hate word usage as a proxy for learned hate. We investigate four different Reddit sub-communities (subreddits) covering three areas of hate speech: racism, misogyny and fat-shaming. In all three cases we find an increase in hate speech outside the originating community, implying that joining such community leads to a spread of hate speech throughout the platform. Moreover, users are found to pick up this new hateful speech for months after initially joining the community. We show that the harmful speech does not remain contained within the community. Our results provide new evidence of the harmful effects of echo chambers and the potential benefit of moderating them to reduce adoption of hateful speech.

研究の動機と目的

• 嫌がらせの強いオンラインコミュニティに参加することで、広い社会的ネットワーク内での嫌がらせ発言の使用が増加するかどうかを調査すること。
• コミュニティ参加が、元のコミュニティ外でのユーザーの嫌がらせ発言行動に与える因果的影響を定量化すること。
• 嫌がらせ発言がエコーカンバスを越えて拡散するかどうかを評価し、こうしたコンテンツが限定的であるという仮定に疑問を呈すること。
• 因果推論手法を用いて、極端なサブレdditに参加した後の長期的行動的影響を評価すること。
• 管理施策を支援するため、極端なオンラインコミュニティの管理または隔離による潜在的利点を示すこと。

提案手法

• 嫌がらせ発言使用の変化を、ユーザーが特定のサブレdditに参加する前後でモデル化するため、因果推論手法として中断時系列（ITS）分析を採用した。
• 人種差別、ミソジニー、肥満差別をカバーする4つの異なるサブレdditに特化した高精度な嫌がらせ語彙を構築した。
• 参加者と非参加者を類似ユーザー同士でマッチングする制御群・処置群のマッチング手法を用い、嫌がらせの強いサブレdditに参加したユーザーとそうでないユーザーを比較した。
• ユーザーの嫌がらせ発言使用状況を、発言やコメントの語彙照合に基づく代理指標を用いて、時間経過とともに追跡した。
• 異なる時間帯のバンド幅を想定した場合の効果量の頑健性を評価するため、感度分析を実施した。
• ITSモデルに制御群を組み込み、事前の嫌がらせ発言レベルの差を補正した。

実験結果

リサーチクエスチョン

• RQ1 嫌がらせの強いサブレdditに参加することで、他のサブレdditにおける嫌がらせ発言使用が増加するか？
• RQ2 嫌がらせの強いコミュニティに参加した影響は、そのコミュニティ外での嫌がらせ発言増加について、どのくらいの期間持続するか？
• RQ3 フェアなコミュニティからフェアでないコミュニティへの嫌がらせ発言の拡散効果は、実際に測定可能か？
• RQ4 ユーザーがコミュニティを退会した後でも、嫌がらせ発言の語彙をどれほど採用・維持するか？
• RQ5 人種差別、ミソジニー、肥満差別といった異なる種類の嫌がらせ発言は、コミュニティ参加に対してどのように反応し、他のコミュニティへの拡散を引き起こすか？

主な発見

• ITS分析により、嫌がらせの強いサブレdditに参加することで、ユーザーの他のサブレdditにおける嫌がらせ発言使用が即座に著しく増加することが確認された。
• ユーザーがコミュニティに参加した後も、数か月にわたり嫌がらせ発言の増加が持続しており、長期的な行動変容を示している。
• 人種差別、ミソジニー、肥満差別という3つの嫌がらせ発言カテゴリーすべてが、それぞれのコミュニティから顕著な拡散効果を示した。
• 参加前から嫌がらせ発言の使用が増加する傾向が見られたが、参加後の増加はコミュニティ参加と因果関係にあった。
• 一部のユーザーはコミュニティ外での投稿では最も攻撃的な用語を控える傾向を示したが、全体的な嫌がらせ発言のレベルは依然として高止まりのままであった。
• 本研究は、嫌がらせの強いコミュニティがレッドィケーションのハブとして機能し、境界を越えて嫌がらせ発言を広めることを因果的証明しており、的確な管理の必要性を裏付けている。