[論文レビュー] Spillover of Antisocial Behavior from Fringe Platforms: The Unintended Consequences of Community Banning

Giuseppe Russo, Luca Verginer+2 more|arXiv (Cornell University)|Sep 20, 2022

Hate Speech and Cyberbullying Detection参考文献 39被引用数 4

ひとこと要約

本研究は、Redditのようなメインストリームプラットフォーム上で反社会的オンラインコミュニティの禁止が引き起こす意図しない結果を調査し、禁止コミュニティから移行したユーザーが、共通参加（co-participation）を通じて、Reddit上でも毒性や規範違反行動が増加することを明らかにした。禁止コミュニティ（r/The_Donald、r/GenderCritical、r/Incels）に所属する約70,000人のユーザーを対象に差分の差分（difference-in-differences）設計を用いた分析により、ユーザーがフェアグラウンドプラットフォームで長期間活動することで、Reddit上での毒性が顕著に上昇することが示された。この影響は時間とともに強化され、活動レベルが高くなるほど顕著であった。

ABSTRACT

Online platforms face pressure to keep their communities civil and respectful. Thus, the bannings of problematic online communities from mainstream platforms like Reddit and Facebook are often met with enthusiastic public reactions. However, this policy can lead users to migrate to alternative fringe platforms with lower moderation standards and where antisocial behaviors like trolling and harassment are widely accepted. As users of these communities often remain co-active across mainstream and fringe platforms, antisocial behaviors may spill over onto the mainstream platform. We study this possible spillover by analyzing around 70,000 users from three banned communities that migrated to fringe platforms: r/The_Donald, r/GenderCritical, and r/Incels. Using a difference-in-differences design, we contrast co-active users with matched counterparts to estimate the causal effect of fringe platform participation on users' antisocial behavior on Reddit. Our results show that participating in the fringe communities increases users' toxicity on Reddit (as measured by Perspective API) and involvement with subreddits similar to the banned community -- which often also breach platform norms. The effect intensifies with time and exposure to the fringe platform. In short, we find evidence for a spillover of antisocial behavior from fringe platforms onto Reddit via co-participation.

研究の動機と目的

• メインストリームプラットフォーム上で反社会的コミュニティが禁止された場合、共通参加ユーザーを介してそのプラットフォームに意図しない行動の拡散が生じるかどうかを検討すること。
• コミュニティ禁止後にフェアグラウンドプラットフォームへの参加が、Reddit上でのユーザーの反社会的行動に因果的影響を及ぼすかどうかを評価すること。
• フェアグラウンドプラットフォームでの活動時間と活動レベルが、行動の拡散度に与える影響を評価すること。
• 共通参加ユーザーを反社会的行動拡散の主要な経路として特定することで、プラットフォームガバナンスに貢献すること。
• 毒性を悪化させないより効果的なモデレーションポリシーを、証拠に基づいて提言すること。

提案手法

• 共通参加ユーザー（Redditとフェアグラウンドプラットフォームの両方で活動）とマッチングされたReddit専用ユーザーを比較する差分の差分（DiD）因果推論設計を採用した。
• r/The_Donald、r/GenderCritical、r/Incelsという3つの禁止済みRedditコミュニティの縦断的データを用い、禁止後約70,000人のユーザーを追跡した。
• Perspective APIの毒性スコアを用いて、Reddit上での反社会的行動を測定した。Perspective APIは、有毒、不遜、破壊的コンテンツを検出するようにトレーニングされた機械学習ツールである。
• 事前禁止時の行動およびデモグラフィックプロキシに基づいて、比較可能なマッチドコントロールグループ（Reddit専用ユーザー）を構築した。
• 行動拡散の時間的ダイナミクスを評価するために、毒性の変化および訪問したサブレッドの変化を時間経過とともに追跡した。
• ユーザー名の変更による共通参加ユーザーの誤分類の可能性を考慮し、妥当な仮定の下で結果の頑健性を分析した。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ禁止後にフェアグラウンドプラットフォームに参加することで、元のメインストリームプラットフォームでの反社会的行動が増加するか？
• RQ2 フェアグラウンドプラットフォームでの活動期間と活動レベルが、Reddit上での行動拡散の大きさにどのように影響するか？
• RQ3 両方のプラットフォームで活動を続ける共通参加ユーザーは、Redditでのみ投稿するユーザーと比べて、規範違反行動を示しやすいか？
• RQ4 禁止コミュニティがフェアグラウンドプラットフォームに移行することで、コミュニティレベルの禁止の意図された効果はどの程度損なわれるか？
• RQ5 プラットフォームモデレーション戦略において共通参加ユーザーに焦点を当てることで、行動拡散効果を軽減できるか？

主な発見

• 禁止後にフェアグラウンドプラットフォームに移行した共通参加ユーザーは、マッチングされたReddit専用ユーザーと比べて、Reddit上での毒性スコアが顕著に高かった。
• Reddit上での毒性の増加は直ちには現れず、時間の経過とともに強化された。これは、フェアグラウンドプラットフォームへの長期間の露出が蓄積的効果をもたらすことを示唆している。
• フェアグラウンドプラットフォームでの活動レベルが高いユーザーほど、Reddit上での毒性の上昇が顕著に強く関連していた。これは、用量反応関係の存在を示唆している。
• 禁止コミュニティとフェアグラウンドプラットフォームの両方で活動したユーザーは、プラットフォーム規範に違反する他のサブレッドにもより多く関与する傾向にあった。
• 結果から、コミュニティレベルの禁止は、フェアグラウンドプラットフォームにおける反社会的エコシステムを意図せず強化し、その毒性をメインストリームプラットフォームへ再び拡散させる可能性があると示唆された。
• 誤分類（ユーザー名の変更による）が共通参加ユーザーの識別に影響を及ぼす場合、そのユーザーが正しく識別された場合と同様に行動すると仮定すれば、観察された効果は実際の効果の下限（lower bound）に過ぎない。