[论文解读] Highly Generalizable Models for Multilingual Hate Speech Detection

Neha Deshpande, Nicholas Farris+1 more|arXiv (Cornell University)|Jan 27, 2022

Hate Speech and Cyberbullying Detection被引用 9

一句话总结

本文提出了一种使用LASER和MUSE生成的语种无关嵌入，结合mBERT和CNN-GRU架构的高泛化能力多语言仇恨言论检测模型。实验证明，在11种语言上进行训练显著优于单语言训练，多语言和语系微调方法在低资源设置下表现优于单语言模型。

ABSTRACT

Hate speech detection has become an important research topic within the past decade. More private corporations are needing to regulate user generated content on different platforms across the globe. In this paper, we introduce a study of multilingual hate speech classification. We compile a dataset of 11 languages and resolve different taxonomies by analyzing the combined data with binary labels: hate speech or not hate speech. Defining hate speech in a single way across different languages and datasets may erase cultural nuances to the definition, therefore, we utilize language agnostic embeddings provided by LASER and MUSE in order to develop models that can use a generalized definition of hate speech across datasets. Furthermore, we evaluate prior state of the art methodologies for hate speech detection under our expanded dataset. We conduct three types of experiments for a binary hate speech classification task: Multilingual-Train Monolingual-Test, MonolingualTrain Monolingual-Test and Language-Family-Train Monolingual Test scenarios to see if performance increases for each language due to learning more from other language data.

研究动机与目标

• 解决在多种语言中使用统一、文化敏感的定义进行多语言仇恨言论检测的挑战。
• 通过利用跨语言语义表示，开发在低资源语言和未见语言上具有良好泛化能力的模型。
• 创建一个基准数据集和训练好的多语言仇恨言论检测模型，以支持未来研究。
• 探究在仇恨言论分类中，语系还是多语言预训练能带来更好的泛化效果。
• 在三种不同的训练-测试场景下评估模型性能：单语言训练-单语言测试、多语言训练-单语言测试、语系训练-单语言测试。

提出的方法

• 从多个公开来源收集并整理了一个涵盖11种语言（包括英语、德语、丹麦语、法语、西班牙语、意大利语和葡萄牙语）的多语言仇恨言论数据集。
• 使用LASER和MUSE的语种无关句子嵌入技术，将多种语言映射到共享语义空间，实现跨语言迁移。
• 训练并评估了三种模型架构：LASER + 逻辑回归、MUSE + CNN-GRU，以及mBERT，用于二元仇恨言论分类。
• 设计了三种评估场景：单语言训练-单语言测试、多语言训练-单语言测试、语系训练-单语言测试，以评估泛化能力。
• 在所有语言和场景中均使用加权F1-score作为主要评估指标，以确保性能评估的平衡性。
• 进行了消融研究，分析数据不平衡和模型架构对性能的影响，特别是在低资源设置下的表现。

实验结果

研究问题

• RQ1 RQ1：在使用共享语义嵌入的语种无关设置下，仇恨言论与正常言论有何差异？
• RQ2 RQ2：当在多种语言上进行训练时，不同模型架构在仇恨言论检测中的表现如何？
• RQ3 RQ3：如果一个模型在某一语系上进行训练，其在该语系其他语言上的泛化能力如何，相较于在所有语言上训练的模型？
• RQ4 RQ4：多语言预训练是否能带来优于单语言训练的泛化效果，特别是在低资源语言上？
• RQ5 RQ5：数据不平衡和语言语系结构如何影响模型在不同语言上的性能和泛化能力？

主要发现

• 多语言训练场景在所有模型架构中均持续优于单语言训练，其中MUSE + CNN-GRU模型在多语言设置下对葡萄牙语的加权F1达到0.887。
• 语系微调方法表现优异，mBERT模型在语系场景下对葡萄牙语的加权F1达到0.894，表明罗曼语族内部的迁移效果良好。
• 尽管训练数据量较少，语系训练模型的性能仍接近多语言模型——例如，日耳曼语族的F1分数在语系场景下达到0.811（mBERT）和0.842（LASER + LR）。
• MUSE + CNN-GRU模型在大多数多语言和语系场景中表现优于LASER + LR和mBERT，尤其在罗曼语族中表现突出，对意大利语的F1最高达0.824。
• 多语言模型在多个语言上相比单语言模型提升了10–15%的F1分数，例如德语（0.893 vs. 0.881）和意大利语（0.824 vs. 0.805），证实了跨语言数据的优势。
• 日耳曼语族的性能低于罗曼语族，可能由于训练数据中英语占比高达80%，导致模型偏向英语语义。