[论文解读] Contextual Hate Speech Detection in Code Mixed Text using Transformer Based Approaches

Ravindra Nayak, Raviraj Joshi|arXiv (Cornell University)|Oct 18, 2021

Hate Speech and Cyberbullying Detection被引用 13

一句话总结

本文提出了一种基于双编码器Transformer的方法，使用多语言BERT和Indic-BERT进行代码混合英语-印地语（印英混用）推文中的上下文仇恨言论检测。通过分别编码上下文和目标推文，对[CLS]嵌入进行平均，并结合静态攻击性词汇字典和模型集成，该方法在HASOC 2021 ICHCL数据集上实现了73.07%的新SOTA F1分数。

ABSTRACT

In the recent past, social media platforms have helped people in connecting and communicating to a wider audience. But this has also led to a drastic increase in cyberbullying. It is essential to detect and curb hate speech to keep the sanity of social media platforms. Also, code mixed text containing more than one language is frequently used on these platforms. We, therefore, propose automated techniques for hate speech detection in code mixed text from scraped Twitter. We specifically focus on code mixed English-Hindi text and transformer-based approaches. While regular approaches analyze the text independently, we also make use of content text in the form of parent tweets. We try to evaluate the performances of multilingual BERT and Indic-BERT in single-encoder and dual-encoder settings. The first approach is to concatenate the target text and context text using a separator token and get a single representation from the BERT model. The second approach encodes the two texts independently using a dual BERT encoder and the corresponding representations are averaged. We show that the dual-encoder approach using independent representations yields better performance. We also employ simple ensemble methods to further improve the performance. Using these methods we report the best F1 score of 73.07% on the HASOC 2021 ICHCL code mixed data set.

研究动机与目标

• 为解决在社交媒体内容中检测仇恨言论的挑战，特别是推文上的印英混用（英语-印地语）文本。
• 通过引入可能在孤立回复中不明显的父级推文的上下文信息，提升检测性能。
• 评估多语言BERT和Indic-BERT在低资源、多语言仇恨言论检测场景下的有效性。
• 探究冻结嵌入和静态攻击性词汇字典是否能增强模型泛化能力和性能。
• 在HASOC 2021 ICHCL基准上实现代码混合仇恨言论检测的SOTA性能。

提出的方法

• 该模型采用双编码器架构，分别使用BERT对上下文和目标推文文本进行编码，生成独立的[CLS]标记嵌入。
• 将上下文和目标推文的[CLS]嵌入进行平均，形成用于分类的联合句子表示。
• 使用单编码器基线进行对比，其中将上下文和目标文本用分隔符连接，并作为单一输入序列处理。
• 在微调过程中冻结m-BERT和Indic-BERT的嵌入层，以保留预训练表示并减少过拟合。
• 使用静态攻击性词汇字典作为确定性过滤器以提升检测效果，且训练集和测试集之间无数据泄露。
• 通过集成方法结合表现最佳的模型预测结果——具体为在双编码器和单编码器配置下，对Indic-BERT和m-BERT的预测结果进行平均。

实验结果

研究问题

• RQ1 在代码混合的印英混用文本中，结合父级推文的上下文信息是否能提升仇恨言论检测性能？
• RQ2 在对话线程中，单编码器与双编码器BERT架构在仇恨言论分类上的表现如何比较？
• RQ3 在低资源、代码混合仇恨言论检测任务中，冻结BERT嵌入是否能提升性能？
• RQ4 在无数据泄露的前提下，集成静态攻击性词汇字典在多大程度上能提升模型性能？
• RQ5 通过多个基于BERT的模型进行集成学习，是否能进一步提升F1分数，超越单个模型？

主要发现

• 双编码器方法（对上下文和目标推文的[CLS]嵌入进行平均）优于将两者文本拼接的单编码器方法。
• 冻结m-BERT和Indic-BERT的嵌入层有助于提升泛化能力，该策略实现了最佳F1分数73.07%。
• 使用冻结嵌入的Indic-BERT模型、双编码器设置以及字典集成，实现了70.37%的F1分数，优于m-BERT基线的65.53%。
• 在所有配置中，集成静态攻击性词汇字典均提升了F1分数，且在双编码器设置中提升幅度最大。
• 四个模型的集成（Indic-BERT和m-BERT在双编码器与单编码器模式下的组合）实现了最佳整体F1分数73.07%。
• 混淆矩阵证实，集成模型降低了对非仇恨内容的误分类，尤其在语境模糊的情况下表现更优。