[论文解读] Are Proactive Interventions for Reddit Communities Feasible?

Hussam Habib, Maaz Bin Musa+2 more|arXiv (Cornell University)|Nov 22, 2021

Hate Speech and Cyberbullying Detection被引用 6

一句话总结

本文研究了利用可解释机器学习模型，基于子版面的演化特征，通过主动、机器辅助的方式识别有问题的 Reddit 社区的可行性。研究证明，有问题的子版面在早期表现出独特的行为模式，从而能够准确预测未来的政策违规行为，并支持及时的、人工参与的干预措施。

ABSTRACT

Reddit has found its communities playing a prominent role in originating and propagating problematic socio-political discourse. Reddit administrators have generally struggled to prevent or contain such discourse for several reasons including: (1) the inability for a handful of human administrators to track and react to millions of posts and comments per day and (2) fear of backlash as a consequence of administrative decisions to ban or quarantine hateful communities. Consequently, administrative actions (community bans and quarantines) are often taken only when problematic discourse within a community spills over into the real world with serious consequences. In this paper, we investigate the feasibility of deploying tools to proactively identify problematic communities on Reddit. Proactive identification strategies show promise for three reasons: (1) they have potential to reduce the manual efforts required to track communities for problematic content, (2) they give administrators a scientific rationale to back their decisions and interventions, and (3) they facilitate early and more nuanced interventions (than banning or quarantining) to mitigate problematic discourse.

研究动机与目标

• 探究是否可以使用自动化工具主动识别有问题的 Reddit 社区。
• 理解子版面的演化动态，并识别问题行为的预测因子。
• 开发可解释的机器学习模型，以在有害言论扩散前，识别出可能违反内容政策的社区。
• 评估此类模型在持续学习环境中的实际适用性。
• 为人类管理员提供基于数据、及时且可解释的干预决策支持。

提出的方法

• 通过时间序列追踪子版面的演化，包括语言特征（如词汇变化）、用户参与动态以及结构度量。
• 在四个类别中收集并构建特征：结构特征、语言特征、社区级特征以及用户相关属性。
• 训练可解释的机器学习模型（如基于 LIME 或 SHAP 的模型），以预测某个子版面是否会随后被归类为问题社区。
• 使用历史数据验证模型性能，并在模拟真实世界部署的持续学习设置中评估其泛化能力。
• 集成模型可解释性，使管理员能够检查并基于领域专业知识覆盖预测结果。
• 在真实场景中部署模型，以评估其长期稳定性与预测准确性。

Figure 1: Distribution of RBO distances of vocabulary/user vectors between consecutive months for subreddits in $\mathfrak{D}_{A}$ , $\mathfrak{D}_{C}$ , and $\mathfrak{D}_{I}$ .

实验结果

研究问题

• RQ1 子版面在随时间推移中表现出稳定还是演化的特征，从而需要持续监控？
• RQ2 子版面在早期阶段的演化模式是否能以足够高的准确度预测未来的政策违规行为？
• RQ3 语言、结构、社区和用户层面特征的何种组合最能预测子版面的问题演化？
• RQ4 可解释的机器学习模型在支持人类管理员实现主动监管方面有多有效？
• RQ5 此类工具是否能在真实世界、持续学习的环境中可持续部署？

主要发现

• 子版面并未趋向稳定，词汇和活跃用户群体持续变化，验证了持续监控的必要性。
• 有问题的子版面在其生命周期早期即表现出独特的演化模式，因此可通过机器学习进行预测。
• 所提出的可解释机器学习模型在预测未来政策违规方面表现出高准确率，实现了对高风险社区的早期识别。
• 模型可解释性为管理员提供了对分类决策驱动因素的可操作洞察，支持更明智的干预决策。
• 该系统在持续学习部署场景中表现出稳健性能，证实了其在真实世界应用中的可行性。
• 主动的、机器辅助的识别方式减少了对事后封禁的依赖，使监管行动更加细致、及时且具有可辩护性。