[论文解读] Countering hate on social media: Large scale classification of hate and counter speech

Joshua Garland, Keyan Ghazi-Zahedi+3 more|arXiv (Cornell University)|Jun 2, 2020

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本研究提出了一套大规模、自动化的仇恨言论与反言论分类系统，采用段落嵌入与正则化逻辑回归的集成学习方法，对数百万条德语Twitter推文进行分类。该系统在F1分数上表现优异（0.76–0.97），并表明有组织的反言论显著降低了仇恨言论的极端程度，促进了在线对话中的平衡与去极化。

ABSTRACT

Hateful rhetoric is plaguing online discourse, fostering extreme societal movements and possibly giving rise to real-world violence. A potential solution to this growing global problem is citizen-generated counter speech where citizens actively engage in hate-filled conversations to attempt to restore civil non-polarized discourse. However, its actual effectiveness in curbing the spread of hatred is unknown and hard to quantify. One major obstacle to researching this question is a lack of large labeled data sets for training automated classifiers to identify counter speech. Here we made use of a unique situation in Germany where self-labeling groups engaged in organized online hate and counter speech. We used an ensemble learning algorithm which pairs a variety of paragraph embeddings with regularized logistic regression functions to classify both hate and counter speech in a corpus of millions of relevant tweets from these two groups. Our pipeline achieved macro F1 scores on out of sample balanced test sets ranging from 0.76 to 0.97---accuracy in line and even exceeding the state of the art. On thousands of tweets, we used crowdsourcing to verify that the judgments made by the classifier are in close alignment with human judgment. We then used the classifier to discover hate and counter speech in more than 135,000 fully-resolved Twitter conversations occurring from 2013 to 2018 and study their frequency and interaction. Altogether, our results highlight the potential of automated methods to evaluate the impact of coordinated counter speech in stabilizing conversations on social media.

研究动机与目标

• 为解决在线话语中仇恨言论与反言论分类缺乏大规模标注数据集的问题。
• 开发一种自动化、可扩展的方法，用于识别社交媒体对话中的仇恨言论与反言论。
• 评估有组织的公民主导反言论在减少极化与仇恨言论方面的实际影响。
• 研究大规模Twitter对话树中仇恨言论与反言论之间的互动动态。

提出的方法

• 构建了一个大规模、经人工验证的训练数据集，涵盖来自德国自标为仇恨言论（Reconquista Germanica）和反言论（Reconquista Internet）群体的数百万条推文。
• 采用集成学习流程，结合多种段落嵌入模型与正则化逻辑回归进行分类。
• 使用专家标注标签的70%置信度阈值，对回复树中的预测结果进行过滤与验证。
• 通过众包方式，对数千条推文的分类器预测结果与人工判断进行比对验证。
• 在外部样本、平衡的测试集上训练并评估模型，以确保泛化能力与可靠性。
• 分析了超过13.5万条完整解析的Twitter对话树，以研究仇恨言论与反言论的时间动态。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，自动化分类能否可靠地大规模识别仇恨言论与反言论？
• RQ2 有组织的反言论存在时，对在线对话中仇恨言论的频率与极端程度有何影响？
• RQ3 仇恨言论与反言论在回复线程中随时间推移的动态互动关系如何？
• RQ4 反言论是否会吸引更多反言论与中立言论，同时减少仇恨言论，尤其是在有组织干预之后？
• RQ5 有组织的反言论在多大程度上有助于实现在线话语的去极化？

主要发现

• 分类器在外部样本、平衡的测试集上实现了0.76至0.97的宏平均F1分数，表明其具有高准确率与可靠性。
• 众包验证表明，分类器的判断与人工判断在数千条标注推文上高度一致。
• 自2018年4月有组织的反言论团体（RI）成立后，对话中仇恨言论的比例下降，而反言论比例上升。
• RI成立后，反言论更有效地吸引了额外的反言论与中立言论，同时抑制了仇恨言论的进一步传播。
• 在回复树中，有组织的反言论推文吸引的反言论与中立言论更多，而仇恨言论更少，相较于非有组织的回应。
• 研究发现，反言论有助于实现个体对话的去极化，因为它增加了出现中立或未分类回应的可能性。