[论文解读] Cross-lingual Hate Speech Detection using Transformer Models

Teodor Tiţa, Arkaitz Zubiaga|arXiv (Cornell University)|Nov 1, 2021

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本文提出对多语言Transformer模型（mBERT 和 XLM-RoBERTa）进行微调，用于跨语言仇恨言论检测，评估了英语-法语语言对以及单语言设置下的性能表现。该方法在零样本迁移任务中表现优异，尤其在使用 XLM-RoBERTa 时更为突出，证明了多语言预训练在低资源仇恨言论检测中的有效性。

ABSTRACT

Hate speech detection within a cross-lingual setting represents a paramount area of interest for all medium and large-scale online platforms. Failing to properly address this issue on a global scale has already led over time to morally questionable real-life events, human deaths, and the perpetuation of hate itself. This paper illustrates the capabilities of fine-tuned altered multi-lingual Transformer models (mBERT, XLM-RoBERTa) regarding this crucial social data science task with cross-lingual training from English to French, vice-versa and each language on its own, including sections about iterative improvement and comparative error analysis.

研究动机与目标

• 解决在低资源设置下标注数据稀缺的背景下，跨语言自动仇恨言论检测的迫切需求。
• 探究多语言Transformer模型在跨语言迁移仇恨言论检测能力方面的有效性，特别是从英语到法语以及反之的迁移。
• 评估单语言和跨语言微调策略，以确定在多语言NLP任务中性能与泛化能力的最优方案。
• 通过迭代式模型优化与对比错误分析，理解模型的失败模式并提升仇恨言论检测的鲁棒性。

提出的方法

• 在英语和法语的仇恨言论数据集上对多语言BERT（mBERT）和XLM-RoBERTa进行微调，以实现跨语言和单语言分类。
• 通过使用多语言预训练权重初始化模型，并在目标语言特定的仇恨言论数据上进行微调，应用迁移学习。
• 采用标准的文本分类头，输出为softmax，实现二元仇恨言论分类（仇恨 vs. 非仇恨）。
• 通过在英语训练模型上评估法语文本，以及在法语训练模型上评估英语文本，实现零样本跨语言迁移，评估零样本泛化能力。
• 通过迭代式超参数调优与模型架构调整，提升跨语言对之间的性能表现。
• 开展对比错误分析，识别预测中语言学与上下文相关的失败模式。

实验结果

研究问题

• RQ1 微调后的多语言Transformer模型在仇恨言论检测任务中，跨语言泛化能力如何？
• RQ2 在英语和法语的仇恨言论检测中，单语言微调与跨语言微调之间的性能差异是什么？
• RQ3 使用mBERT和XLM-RoBERTa，从英语到法语以及反之的零样本迁移效果如何？
• RQ4 跨语言仇恨言论检测中的主要失败模式是什么？如何通过错误分析加以缓解？

主要发现

• XLM-RoBERTa在跨语言仇恨言论检测中表现优于mBERT，尤其在零样本迁移设置下。
• 从英语到法语的跨语言微调取得了优异性能，表明仇恨言论模式可在语言间有效迁移。
• 在每种语言上进行单语言微调的性能高于零样本迁移，证实了目标语言数据的价值。
• 错误分析显示，反讽、语码转换以及非字面语言是模型泛化能力的主要挑战。
• 通过迭代式超参数调优与架构调整，显著提升了模型在跨语言对上的鲁棒性与F1分数。
• 本研究证明，多语言预训练可实现可行的低资源仇恨言论检测，尤其在目标语言数据有限时。