[论文解读] Content Removal as a Moderation Strategy: Compliance and Other Outcomes in the ChangeMyView Community

Kumar Bhargav Srinivasan, Cristian Danescu-Niculescu-Mizil+2 more|arXiv (Cornell University)|Oct 21, 2019

Social Media and Politics参考文献 42被引用 33

一句话总结

本论文研究在 CMV 中删除 moderator 移除的评论是否会因果性地改变作者的未来行为，使用 delayed feedback（延迟反馈）和 interrupted time-series（中断时序）设计来将删除效应与发布情境区分开。

ABSTRACT

Moderators of online communities often employ comment deletion as a tool. We ask here whether, beyond the positive effects of shielding a community from undesirable content, does comment removal actually cause the behavior of the comment's author to improve? We examine this question in a particularly well-moderated community, the ChangeMyView subreddit. The standard analytic approach of interrupted time-series analysis unfortunately cannot answer this question of causality because it fails to distinguish the effect of having made a non-compliant comment from the effect of being subjected to moderator removal of that comment. We therefore leverage a "delayed feedback" approach based on the observation that some users may remain active between the time when they posted the non-compliant comment and the time when that comment is deleted. Applying this approach to such users, we reveal the causal role of comment deletion in reducing immediate noncompliance rates, although we do not find evidence of it having a causal role in inducing other behavior improvements. Our work thus empirically demonstrates both the promise and some potential limits of content removal as a positive moderation strategy, and points to future directions for identifying causal effects from observational data.

研究动机与目标

• 评估在 CMV 中被版主移除的评论是否会因相关作者的未来行为得到改善。
• 为观测性 moderation 数据（延迟反馈设计）开发因果推断方法。
• 区分内容删除的效应与发表有问题评论本身的效应。

提出的方法

• 在非受影响的树中应用中断时序（ITS）分析来比较移除前后的行为。
• 引入 delayed feedback（延迟反馈，DF）设计，将删除的效应与发布有问题评论本身的效应分离。
• 在删除延迟时使用时间配对的匹配对照方法，以减轻时间混杂。
• 在一个包含 post trees、被删除的评论和版主元数据的较大 CMV 数据集上操作，数据收集时间为 2013–2018。
• 定义并计算一组评论层面和用户层面的特征，以检验五个行为假设（noncompliance 不合规、toxicity 毒性、achievement 成就、engagement 参与度）。

实验结果

研究问题

• RQ1 被影响并继续参与 CMV 的个体，评论删除是否对随后出现的规则违规行为具有因果抑制作用？
• RQ2 删除是否对该等个体随后评论中的毒性具有因果抑制作用？
• RQ3 删除是否对随后的贡献的成就或社区认同具有因果提升作用？
• RQ4 删除是否对受影响个体随后参与度水平具有因果影响？
• RQ5 延迟反馈设计在多大程度上能够将 moderation 的因果效应与观察数据中的时间/情境因素解耦？

主要发现

• 注释删除在移除后仍保持活跃的用户子集上，因果性降低了即时的不合规率（通过延迟反馈设计）。
• 中断时序分析显示一些显著的前后行为变化，但对于大多数结果，这些变化不能归因于删除的因果效应。
• 删除未提供在减少近期期不合规之外改善其他行为的因果作用证据。
• 继续参与的受影响个体往往更频繁地放弃 CMV，使所有结果的因果归因变得复杂。
• 延迟反馈方法通常支持将内容删除视为积极的 moderation 的前景，同时也凸显其在促使更广泛行为改进方面的局限性。