[论文解读] A BERT-Based Transfer Learning Approach for Hate Speech Detection in Online Social Media

Marzieh Mozafari, Reza Farahbakhsh+1 more|arXiv (Cornell University)|Oct 28, 2019

Hate Speech and Cyberbullying Detection被引用 6

一句话总结

本文提出了一种基于 BERT 的迁移学习方法，用于社交媒体中的仇恨言论检测，通过在多个 BERT 编码器层上进行微调以提升性能。该方法在基准数据集上取得了最先进结果，展示了更高的精确率、召回率和 F1 分数，同时通过误分类分析揭示了数据标注中的偏差。

ABSTRACT

Generated hateful and toxic content by a portion of users in social media is a rising phenomenon that motivated researchers to dedicate substantial efforts to the challenging direction of hateful content identification. We not only need an efficient automatic hate speech detection model based on advanced machine learning and natural language processing, but also a sufficiently large amount of annotated data to train a model. The lack of a sufficient amount of labelled hate speech data, along with the existing biases, has been the main issue in this domain of research. To address these needs, in this study we introduce a novel transfer learning approach based on an existing pre-trained language model called BERT (Bidirectional Encoder Representations from Transformers). More specifically, we investigate the ability of BERT at capturing hateful context within social media content by using new fine-tuning methods based on transfer learning. To evaluate our proposed approach, we use two publicly available datasets that have been annotated for racism, sexism, hate, or offensive content on Twitter. The results show that our solution obtains considerable performance on these datasets in terms of precision and recall in comparison to existing approaches. Consequently, our model can capture some biases in data annotation and collection process and can potentially lead us to a more accurate model.

研究动机与目标

• 解决仇恨言论检测中现有数据集存在的标注数据有限及固有偏差问题。
• 利用预训练的 BERT 模型进行迁移学习，以提升仇恨言论检测性能。
• 通过新颖的微调策略，研究不同 BERT 编码器层对下游仇恨言论分类的影响。
• 分析模型预测如何揭示数据收集和标注过程中的偏差。
• 开发一种鲁棒的、具备上下文感知能力的分类器，能够有效区分仇恨言论、攻击性语言和中性内容。

提出的方法

• 在两个公开可用的、针对仇恨、种族主义、性别歧视和攻击性内容进行标注的 Twitter 数据集上，对预训练的 BERT 模型进行仇恨言论检测的微调。
• 采用一种新颖的基于 CNN 的微调策略，以利用来自多个 BERT 变压器编码器层的句法和上下文信息。
• 通过评估不同 BERT 层次表示的性能，确定仇恨言论检测的最佳特征提取方式。
• 利用迁移学习，借助 BERT 在大规模英文维基百科和 BookCorpus 上预训练所获得的一般语言理解能力。
• 分析误分类样本，识别数据标注中的偏差，特别是与方言、地理背景和侮辱性用语相关的问题。
• 将模型预测与人工标注进行对比，评估模型检测上下文细微差别的能力以及对标注偏差的识别能力。

实验结果

研究问题

• RQ1 在低资源社交媒体数据集上，对不同 BERT 编码器层进行微调如何影响仇恨言论检测性能？
• RQ2 基于 BERT 的模型是否能在仇恨言论检测的精确率、召回率和 F1 分数方面超越先前的最先进方法？
• RQ3 该模型在多大程度上能够检测到在数据收集和标注过程中引入的偏差，特别是与方言或侮辱性用语相关的问题？
• RQ4 在语境复杂的推文中，该模型如何区分仇恨言论、攻击性语言和中性内容？
• RQ5 该模型的预测能否揭示现有仇恨言论数据集中系统性的标注偏差？

主要发现

• 所提出的基于 BERT 的模型在基准数据集上实现了最先进性能，在精确率、召回率和 F1 分数方面均优于先前方法。
• 通过在多个 BERT 层上采用基于 CNN 的微调策略，显著提升了检测性能，有效利用了上下文和句法特征。
• 该模型展现出检测数据标注偏差的能力，特别是在使用非洲裔美国人英语或侮辱性用语（如 'nigga' 或 'faggot'）的推文中。
• 误分类通常与标注偏差有关，而非模型失效，因为含有侮辱性用语的推文常被错误地标记为仇恨言论，尽管其语境中性或仅具攻击性。
• 该模型成功区分了隐性仇恨、攻击性语言和中性内容，表明其具备从预训练知识中获得的强大上下文理解能力。
• 对误分类样本的分析表明，标注者常在未考虑说话者身份、方言或社会语境的情况下将侮辱性用语标记为仇恨言论，凸显了数据偏差的存在。