[論文レビュー] Automated Content Moderation Increases Adherence to Community Guidelines

Manoel Horta Ribeiro, Justin Cheng+1 more|arXiv (Cornell University)|Oct 19, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本研究は、4億1200万件のFacebook投稿を対象に、ファジィ回帰不連続設計を用いて、自動コンテンツモデレーションのルール違反行動および関与度に与える影響を評価する。コメントの削除、特に短いスレッドにおける削除は、その後のルール違反行動を顕著に減少させ、効果的な抑止効果を示している。一方、非表示化はほとんど効果がなく、コミュニティガイドラインの遵守に削除がより効果的であることが示唆される。

ABSTRACT

Online social media platforms use automated moderation systems to remove or reduce the visibility of rule-breaking content. While previous work has documented the importance of manual content moderation, the effects of automated content moderation remain largely unknown. Here, in a large study of Facebook comments (n=412M), we used a fuzzy regression discontinuity design to measure the impact of automated content moderation on subsequent rule-breaking behavior (number of comments hidden/deleted) and engagement (number of additional comments posted). We found that comment deletion decreased subsequent rule-breaking behavior in shorter threads (20 or fewer comments), even among other participants, suggesting that the intervention prevented conversations from derailing. Further, the effect of deletion on the affected user's subsequent rule-breaking behavior was longer-lived than its effect on reducing commenting in general, suggesting that users were deterred from rule-breaking but not from commenting. In contrast, hiding (rather than deleting) content had small and statistically insignificant effects. Our results suggest that automated content moderation increases adherence to community guidelines.

研究の動機と目的

• オンラインコミュニティにおける自動コンテンツモデレーションの因果的影響を評価すること。
• 非表示化と削除の2つのモデレーション介入の、ルール違反行動および関与度への影響を比較すること。
• 実世界のFacebookデータを用いて、自動モデレーションがルール違反を抑止するのか、逆効果を引き起こすのかを解明すること。
• スレッド長やユーザー履歴（初犯者対繰り返し違反者）に応じてモデレーションの効果が異なるかどうかを理解すること。
• 大規模プラットフォームにおける効果的でスケーラブルなコンテンツモデレーションシステムの設計に、証拠に基づいた知見を提供すること。

提案手法

• 本研究は、自動モデレーションシステムにおける閾値に基づく介入を活用し、因果的影響を推定するためファジィ回帰不連続設計（RDD）を採用する。
• 機械学習分類器がルール違反をスコア化したFacebookのコメントを分析し、非表示化（$t_{\text{hide}}$）および削除（$t_{\text{delete}}$）の閾値を超過した場合に介入が発動する。
• RDDアプローチでは、これらの閾値のわずかに上と下のコメントを比較し、不連続性を自然実験として扱い、因果的影響を分離する。
• 結果指標には、その後のルール違反行動（非表示・削除されたコメント数）および関与度（追加のコメント投稿数）が含まれる。
• 分析はユーザー単位（影響を受けるユーザー）およびスレッド単位（同じ会話に属する他のユーザー）で実施され、スレッド長およびユーザー種別（初犯者対繰り返し違反者）で層別される。
• 統計的推論ではクラスタリングおよび不均一分散を考慮し、ロバスト標準誤差と有意水準 $p < 0.05$ での仮説検定が用いられる。

実験結果

リサーチクエスチョン

• RQ1 自動コンテンツモデレーション、特に削除が、同じ会話内のユーザーのその後のルール違反行動に減少をもたらすか？
• RQ2 非表示化と削除の効果は、ルール違反の低減および関与度の調整においてどのように異なるか？
• RQ3 モデレーションの影響はスレッド長に応じて変化するか。特に短い（≤20件）スレッドと長いスレッドの間で差があるか？
• RQ4 初犯者では削除が繰り返し違反者よりもルール違反をより効果的に抑止するか？
• RQ5 モデレーションはルール違反の増加（逆効果）を引き起こすのか、それともコミュニティガイドラインへの準拠を促進するのか？

主な発見

• 20件以下のコメントを含むスレッドにおいて、ルール違反コメントの削除は、その後のルール違反行動を顕著に減少させ、スレッドあたり13.16件の削減（95％信頼区間：-21.23 〜 -5.10）を示し、強い抑止効果があることを示している。
• 削除がルール違反行動を低減する効果は、一般のコメント投稿行動を低減する効果よりも持続的であるため、ユーザーはルール違反を避けるようになるが、会話への参加自体は続けていると考えられる。
• 非表示化はルール違反行動や関与度に統計的に有意な影響がなく、推定効果はほぼゼロであり、信頼区間はゼロを含む。
• 初犯者においては、削除により最初の7日間でルール違反行動が4.55件減少した（95％信頼区間：-6.00 〜 -3.11）、効果は時間経過とともに持続した。
• 繰り返し違反者においても削除はルール違反行動を減少させたが、効果は弱く、最初の7日間で3.37件の減少（95％信頼区間：-8.35 〜 1.61）にとどまり、有意ではなかった。
• 削除の影響は特に短いスレッドで顕著であり、会話の逸脱リスクが高い状況において、標的介入が最も効果的であることが示唆される。