[論文レビュー] Content Removal as a Moderation Strategy: Compliance and Other Outcomes in the ChangeMyView Community

Kumar Bhargav Srinivasan, Cristian Danescu-Niculescu-Mizil+2 more|arXiv (Cornell University)|Oct 21, 2019

Social Media and Politics参考文献 42被引用数 33

ひとこと要約

この論文は、CMV におけるモデレーターにより削除されたコメントが著者の将来の行動に因果的な影響を及ぼすかを、遅延フィードバックと中断時系列設計を用いて、削除の影響と投稿文脈を分離する。

ABSTRACT

Moderators of online communities often employ comment deletion as a tool. We ask here whether, beyond the positive effects of shielding a community from undesirable content, does comment removal actually cause the behavior of the comment's author to improve? We examine this question in a particularly well-moderated community, the ChangeMyView subreddit. The standard analytic approach of interrupted time-series analysis unfortunately cannot answer this question of causality because it fails to distinguish the effect of having made a non-compliant comment from the effect of being subjected to moderator removal of that comment. We therefore leverage a "delayed feedback" approach based on the observation that some users may remain active between the time when they posted the non-compliant comment and the time when that comment is deleted. Applying this approach to such users, we reveal the causal role of comment deletion in reducing immediate noncompliance rates, although we do not find evidence of it having a causal role in inducing other behavior improvements. Our work thus empirically demonstrates both the promise and some potential limits of content removal as a positive moderation strategy, and points to future directions for identifying causal effects from observational data.

研究の動機と目的

• CMVで影響を受けた著者の将来の行動が改善されるかを評価する。
• 観察データに基づくモデレーションデータに適した因果推論手法を開発する（遅延フィードバック設計）。
• 問題のコメントを投稿すること自体の効果と、内容の削除の効果を区別する。

提案手法

• 削除前後の行動を、影響を受けないツリーで比較するために、Interrupted Time-Series (ITS) 分析を適用する。
• 遅延フィードバック（DF）設計を導入して、削除の効果と問題のコメント自体の投稿効果を分離する。
• 削除が遅延している場合の temporal confoundsを緩和するため、時間的にペアリングされたマッチドコントロール手法を用いる。
• 2013–2018から収集した投稿ツリー、削除されたコメント、モデレーターのメタデータを含む大規模な CMV データセットを用いる。
• 5つの行動仮説（noncompliance、toxicity、achievement、engagement）を検証するためのコメントレベルおよびユーザーレベルの特徴の集合を定義・計算する。

実験結果

リサーチクエスチョン

• RQ1 CMVに参加し続ける影響を受けた個人の後続の規則違反を、コメント削除が因果的に減少させるか？
• RQ2 影響を受けた個人による後続のコメントの毒性を因果的に減少させるか？
• RQ3 後続の投稿の達成度またはコミュニティの承認を因果的に改善するか？
• RQ4 影響を受けた個人の後続のエンゲージメントレベルを因果的に影響するか？
• RQ5 遅延フィードバック設計は、観察データにおけるモデレーションの因果効果と時間的/文脈的要因をどの程度うまく分離できるか？

主な発見

• 削除後も活動を続けるユーザーのサブセットにおいて、コメント削除は即時の不遵守率を因果的に低減する（遅延フィードバック設計による）。
• Interrupted time-series 分析は、行動にいくつかの有意な前後変化を示すが、ほとんどのアウトカムについて削除の因果効果に帰属できない。
• 削除は、近時の不遵守を減少させる以外の他の行動の改善に因果的な役割があるという証拠を提供しない。
• 参加を続ける影響を受けた個人はしばし CMV を高い割合で放棄することが多く、全アウトカムにわたる因果帰属を複雑にする。
• 遅延フィードバック手法は、一般にコンテンツ削除を肯定的なモデレーションの約束として支持する一方、広範な行動改善を促す上での限界を強調する。