[論文レビュー] Exploring Content Moderation in the Decentralised Web: The Pleroma Case

Anaobi Ishaku Hassan, Aravindh Raman+5 more|arXiv (Cornell University)|Oct 26, 2021

Internet Traffic Analysis and Secure E-voting被引用数 5

ひとこと要約

本研究は、分散型ウェブプラットフォームPleromaにおけるコンテンツモデレーションポリシーを分析し、97.7%のユーザーおよび97.8%の投稿がインスタンスレベルのフェデレーションポリシーの影響を受けることが判明した。また、ブロックされたユーザーの95.8%は毒性として分類されていないことから、重大な付随的被害が生じていることが示された。本稿では、意図しない被害を低減しつつモデレーションの有効性を保つために、ユーザー単位またはインスタンス単位の的を射たポリシーを提案する。

ABSTRACT

Decentralising the Web is a desirable but challenging goal. One particular challenge is achieving decentralised content moderation in the face of various adversaries (e.g. trolls). To overcome this challenge, many Decentralised Web (DW) implementations rely on federation policies. Administrators use these policies to create rules that ban or modify content that matches specific rules. This, however, can have unintended consequences for many users. In this paper, we present the first study of federation policies on the DW, their in-the-wild usage, and their impact on users. We identify how these policies may negatively impact "innocent" users and outline possible solutions to avoid this problem in the future.

研究の動機と目的

• 分散型ウェブにおけるフェデレーションポリシーがコンテンツモデレーションに与える実世界的影響を調査すること。
• 無関係なユーザーに及ぼされるインスタンスレベルのブロッキングポリシーによる付随的被害の程度を評価すること。
• ポリシーがフェデレーテッドインスタンス間でユーザーの到達可能性およびコンテンツの可視性にどのように影響するかを分析すること。
• 現在のモデレーション実務における欠陥を特定し、非有害なユーザーの過剰ブロッキングを引き起こす要因を解明すること。
• 意図しない結果を低減しつつモデレーション効果性を維持できる、実行可能で細分化されたポリシーメカニズムを提案すること。

提案手法

• 5か月間にわたり1298のPleromaインスタンスを対象に大規模なデータセットを収集し、2450万件の投稿、11万件のユーザー、46種類の明確なモデレーションポリシーを含んだ。
• PleromaのパブリックAPIを介してフェデレーションポリシーを抽出・分析し、ルール・アクションペアを分類。主に拒否（reject）、メディア削除、タグ付けのアクションに注目した。
• ユーザーの投稿を毒性の有無で分類するためにGoogleのPerspective APIを活用し、ブロック済みユーザーと実際に有害なコンテンツの間で比較分析を実施した。
• インスタンスごとのポリシー適用をマッピングし、過剰ブロッキングやポリシーの重複のパターンを特定した。
• 3つのストローマン（仮想的設計）ポリシーを提案：(1) 知名した問題インスタンス向けのキュレート済みブロックリスト、(2) ユーザー単位のタグ付けによる的を射たモデレーション、(3) 重複レポート数や毒性スコアの閾値に基づく自動トリガー。
• フェデレーテッドインスタンス間での毒性スコアおよびユーザーの到達可能性と照らし合わせ、ポリシー適用の影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 Pleromaのインスタンスレベルモデレーションポリシーは、非悪意あるユーザーを含む広範なユーザー基盤に、どの程度影響を及ぼしているか？
• RQ2 ブロックされたインスタンスに所属するユーザーの実際の毒性レベルは、そのインスタンスが生成する有害コンテンツの割合と比べてどうか？
• RQ3 管理者が使用する主なポリシー種別とアクションは何か？ また、それらはインスタンス間でどのように適用されているか？
• RQ4 ポリシーのメカニズムを再設計することで、付随的被害を低減しつつ効果的なコンテンツモデレーションを維持できるか？
• RQ5 自動化ツールとコミュニティがキュレートしたリストは、モデレーションの正確性を向上させる役割を果たしているか？

主な発見

• Pleromaインスタンス全体において、97.7%のユーザーおよび97.8%の投稿が少なくとも1つのモデレーションポリシーの影響を受けており、フェデレーションポリシーの影響がほぼ全般的であることが示された。
• 拒否（reject）アクション—つまり、全インスタンスのブロッキング—が最も一般的であり、86.2%のユーザーおよび88.5%の投稿に影響を与えている。
• 拒否されたインスタンスに所属するユーザーのうち95.8%は、GoogleのPerspective APIによって毒性として分類されていないため、一括ブロッキングによる甚大な付随的被害が生じていることが明らかになった。
• ブロックされたインスタンスに所属するユーザーのうちわずか4.2%しか毒性として分類されていないため、現在のポリシーは非有害なユーザーに顕著に過剰に影響を与えていることが示唆された。
• 本研究では、現在のポリシーが粗い粒度のインスタンスレベルブロッキングに依存しており、悪質なユーザーと無関係なユーザーを区別できないことが特定された。
• 著者らは、付随的被害を低減するための3つの洗練されたポリシーメカニズムを提案した：キュレート済みブロックリスト、ユーザー単位のタグ付け、および毒性スコアの閾値やレポート件数に基づく自動トリガー。