[論文レビュー] No Easy Way Out: the Effectiveness of Deplatforming an Extremist Forum to Suppress Hate and Harassment

Anh V. Vu, Alice Hutchings+1 more|arXiv (Cornell University)|Apr 14, 2023

Hate Speech and Cyberbullying Detection被引用数 3

ひとこと要約

本論文は、長年にわたり深刻な過激主義的いじめを助長するフォーラムであるKIWI FARMSに対する、大規模な業界主導のデプラットフォーム化キャンペーンの有効性を調査している。複数のテック企業による連携した取り組みにもかかわらず、このフォーラムはトラフィックの分散化と代替ドメイン、およびTelegramへの移行を通じて素早く再発生し、活動は一時的に50％低下するにとどまり、コアユーザーに対する長期的影響は最小限にとどまった。

ABSTRACT

Legislators and policymakers worldwide are debating options for suppressing illegal, harmful and undesirable material online. Drawing on several quantitative data sources, we show that deplatforming an active community to suppress online hate and harassment, even with a substantial concerted effort involving several tech firms, can be hard. Our case study is the disruption of the largest and longest-running harassment forum Kiwi Farms in late 2022, which is probably the most extensive industry effort to date. Despite the active participation of a number of tech companies over several consecutive months, this campaign failed to shut down the forum and remove its objectionable content. While briefly raising public awareness, it led to rapid platform displacement and traffic fragmentation. Part of the activity decamped to Telegram, while traffic shifted from the primary domain to previously abandoned alternatives. The forum experienced intermittent outages for several weeks, after which the community leading the campaign lost interest, traffic was directed back to the main domain, users quickly returned, and the forum was back online and became even more connected. The forum members themselves stopped discussing the incident shortly thereafter, and the net effect was that forum activity, active users, threads, posts and traffic were all cut by about half. Deplatforming a community without a court order raises philosophical issues about censorship versus free speech; ethical and legal issues about the role of industry in online content moderation; and practical issues on the efficacy of private-sector versus government action. Deplatforming a dispersed community using a series of court orders against individual service providers appears unlikely to be very effective if the censor cannot incapacitate the key maintainers, whether by arresting them, enjoining them or otherwise deterring them.

研究の動機と目的

• 複数の企業が連携して実施した、持続的なオンライン憎悪フォーラムに対するデプラットフォーム化キャンペーンの有効性を評価すること。
• インfraストラクチャー面での干渉に対して、独立運用の過激主義フォーラムがどれほど回復可能であるかを理解すること。
• デプラットフォーム化の予期しない結果、すなわちトラフィックの分散化、代替プラットフォームへの移行、新規参加者の間での毒性の増加を検討すること。
• 民間セクター主導のデプラットフォーム化が、オンラインの憎悪やいじめへの割合的で効果的かつ法的に妥当な対応であるかどうかを評価すること。
• 司法的監視なしに民間主体で行動する際、政府がオンラインコンテンツモデレーションにどのように関与すべきかを示唆するための政策提言を行うこと。

提案手法

• 2022年末から2023年初頭にかけて、ネットワークレベルの監視と公的データソースを用いて、KIWI FARMSのトラフィック、ドメイン使用状況、およびプラットフォームの可用性を縦断的測定した。
• DDoS保護サービス、ドメイン登録者、ネットワークプロバイダーを含む複数のインfraストラクチャープロバイダーを通じて、干渉キャンペーンの進行を追跡した。
• トラフィックパターン、ドメインの移行、およびTelegramなどの代替プラットフォームへの移行を通じて、ユーザー行動の変化を分析した。
• キャンペーンに関する公共のソーシャルメディア上の議論を収集・分析し、一般の認識と感情を評価した。
• キャンペーン前後におけるフォーラム活動の変化、すなわちユーザー数、投稿数、スレッド数、コンテンツの毒性レベルをモニタリングした。
• 定性的および定量的データを統合し、司法的・警察的介入なしにデプラットフォーム化が長期間にわたり持続可能かどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 複数のテック企業による連携したデプラットフォーム化キャンペーンは、KIWI FARMSにおける活動をどの程度効果的に抑制できたか？
• RQ2 フォーラムのインfraストラクチャーとユーザー基盤は、干渉に対してどのように反応したか。特に、代替ドメインやプラットフォームへの移行は？
• RQ3 干渉中および干渉後、ユーザー参加度、毒性レベル、コミュニティ構造にどのような変化が生じたか？
• RQ4 多様な業界連携がなされたにもかかわらず、なぜデプラットフォーム化は長期的な抑止に失敗したのか？
• RQ5 民間セクター主導のデプラットフォーム化が、表現の自由、法的妥当性、政府のコンテンツモデレーションにおける役割にどのような意味を持つのか？

主な発見

• デプラットフォーム化キャンペーンにより、投稿数、スレッド数、アクティブユーザー数を含むフォーラム全体の活動が一時的に50％低下したが、その低下は一時的であった。
• 便宜的ユーザーの約87％が干渉期間中にフォーラムを離脱したが、コアユーザーの半数は依然として活動的で関与を維持した。
• トラフィックは急速に分散化し、かつて放棄されたドメインやTelegramに大きな部分が移行した。Telegramでは活動が急増した。
• 数週間にわたり断続的なダウンタイムが発生したが、キャンペーンの勢いが失せた後、メインドメインでのトラフィックと活動は完全に回復し、一部では増加さえした。
• 干渉の最初の数週間において、新規参加者の毒性レベルが上昇しており、キャンペーンがより極端なユーザーを引きつける結果になった可能性がある。
• フォーラム管理者は無力化されていなかった。主要管理者に対して法的措置や警察の介入がなかったため、デプラットフォーム化は長期的には効果がなかった。