[论文解读] Detecting Online Hate Speech Using Context Aware Models

Lei Gao, Ruihong Huang|arXiv (Cornell University)|Oct 20, 2017

Hate Speech and Cyberbullying Detection参考文献 16被引用 32

一句话总结

本文提出了一种上下文感知的仇恨言论检测模型，基于一个新标注的福克斯新闻评论线程语料库，该语料库保留了完整的上下文信息。研究引入了结合上下文特征（如用户名、新闻标题和嵌套评论）的逻辑回归与神经网络模型，在强基线模型基础上实现了10%的F1分数提升，集成模型表现最佳。

ABSTRACT

In the wake of a polarizing election, the cyber world is laden with hate speech. Context accompanying a hate speech text is useful for identifying hate speech, which however has been largely overlooked in existing datasets and hate speech detection models. In this paper, we provide an annotated corpus of hate speech with context information well kept. Then we propose two types of hate speech detection models that incorporate context information, a logistic regression model with context features and a neural network model with learning components for context. Our evaluation shows that both models outperform a strong baseline by around 3% to 4% in F1 score and combining these two models further improve the performance by another 7% in F1 score.

研究动机与目标

• 解决现有仇恨言论数据集与模型中缺乏上下文的问题，这些模型通常忽略周围文本、用户名和文章上下文。
• 构建一个包含1,528条福克斯新闻用户评论的全新标注语料库，完整保留线程上下文，包括用户名、文章标题和回复链。
• 通过在传统机器学习（逻辑回归）与深度学习（带注意力机制的LSTM）模型中引入上下文特征，提升仇恨言论检测性能。
• 证明上下文感知模型显著优于忽略上下文的基线模型，尤其在检测微妙或隐含的仇恨言论方面表现更优。
• 展示通过结合不同类型模型，可发挥互补优势，实现更优的整体性能。

提出的方法

• 从10个福克斯新闻讨论线程中标注1,528条用户评论，完整保留上下文信息：用户名、文章标题和嵌套回复。
• 为逻辑回归模型提取上下文特征，包括字符n-gram、词n-gram、LIWC和NRC情感特征，分别来自评论及其上下文。
• 设计一个双向LSTM模型，结合注意力机制，以捕捉长距离依赖关系并突出评论中具有仇恨指向的短语。
• 分别在仅使用评论输入和上下文增强输入的设置下训练模型，以比较性能并隔离上下文的影响。
• 采用分数平均与最大投票策略，构建集成模型，融合逻辑回归与神经网络模型的预测结果。
• 使用F1分数、AUC、精确率和召回率作为评估指标，比较不同配置下模型的性能。

实验结果

研究问题

• RQ1 在多大程度上，整合上下文信息（如用户名、文章标题、回复线程）能提升仇恨言论检测性能？
• RQ2 在包含上下文信息的情况下，基于特征的逻辑回归模型与神经网络模型在仇恨言论检测中的表现如何比较？
• RQ3 能否通过结合逻辑回归与神经网络预测的集成模型，实现优于单一模型的性能？
• RQ4 哪些类型的仇恨言论更易被逻辑回归模型检测到，哪些更易被神经网络模型检测到，原因是什么？
• RQ5 上下文感知模型如何处理细微、隐含或拼写错误的仇恨言论，而这些是标准模型可能遗漏的？

主要发现

• 上下文感知的逻辑回归模型相比仅使用评论文本的基线模型，F1分数提升了约4%。
• 带有注意力机制的神经网络模型相比仅使用评论的对应模型，F1分数提升了约4%，尤其在识别长而复杂的评论中的仇恨言论方面表现更优。
• 结合逻辑回归与神经网络预测的集成模型相比最强基线模型，F1分数提升了10%。
• 最大分数集成模型在保持相近精确率的同时，召回率提升了超过20%，表明能更好地检测到此前被遗漏的仇恨言论。
• 平均分数集成模型的AUC提升了约7%，表明整体判别能力显著增强。
• 逻辑回归模型在检测包含OOV词、拼写错误（如'femanazis'）和全大写侮辱性用语（如'FBLM'）的仇恨言论方面尤为有效，这得益于其强大的字符级n-gram特征。