[论文解读] Galileo at SemEval-2020 Task 12: Multi-lingual Learning for Offensive Language Identification using Pre-trained Language Models

Shuohuan Wang, Jiaxiang Liu+2 more|arXiv (Cornell University)|Oct 7, 2020

Hate Speech and Cyberbullying Detection参考文献 34被引用 5

一句话总结

本论文提出了一种基于多语言预训练语言模型（XLM-R 和 ERNIE）的多语言攻击性语言识别方法，结合知识蒸馏技术实现攻击性语言分类。该系统在 SemEval-2020 任务12 中表现卓越，Sub-task A 的平均 F1 分数排名第一，Sub-task B（攻击性类型分类）和 Sub-task C（攻击目标识别）也均排名第一。

ABSTRACT

This paper describes Galileo's performance in SemEval-2020 Task 12 on detecting and categorizing offensive language in social media. For Offensive Language Identification, we proposed a multi-lingual method using Pre-trained Language Models, ERNIE and XLM-R. For offensive language categorization, we proposed a knowledge distillation method trained on soft labels generated by several supervised models. Our team participated in all three sub-tasks. In Sub-task A - Offensive Language Identification, we ranked first in terms of average F1 scores in all languages. We are also the only team which ranked among the top three across all languages. We also took the first place in Sub-task B - Automatic Categorization of Offense Types and Sub-task C - Offence Target Identification.

研究动机与目标

• 开发一种多语言攻击性语言识别系统，能够泛化于英语、希腊语、土耳其语、丹麦语和阿拉伯语等多种语言。
• 通过知识蒸馏利用多模型软标签改进攻击性语言分类性能。
• 通过跨语言迁移学习应对低资源语言在攻击性语言检测中的挑战。
• 在 SemEval-2020 任务12 的三项子任务（攻击性语言检测、攻击类型分类、攻击目标识别）中均实现高性能表现。
• 验证集成学习与多语言预训练在低资源及多语言 NLP 场景中的有效性。

提出的方法

• 在五种语言上对多语言预训练语言模型 XLM-R Base 和 XLM-R Large 进行微调，以实现跨语言的攻击性语言检测。
• 在 Sub-task A 中采用基于十折交叉验证的 XLM-R Large 模型集成，以提升鲁棒性与泛化能力。
• 在 Sub-task B 和 C 中使用来自多个监督模型（ALBERT-XXLarge 和 ERNIE 2.0）生成的软标签进行知识蒸馏，以提升分类性能。
• 通过教师模型生成的软目标训练学生模型，以捕捉超越硬标签的细微分类模式。
• 在 ERNIE 2.0 中采用多任务学习策略，结合动态知识掩码与特定应用的预训练任务，以增强语义表征能力。
• 通过集成技术融合多个模型的预测结果，以提升所有子任务的最终性能。

实验结果

研究问题

• RQ1 像 XLM-R 和 ERNIE 这样的多语言预训练语言模型是否能在多种语言中实现强大的零样本或少样本泛化能力，用于攻击性语言检测？
• RQ2 与硬标签监督相比，使用多个教师模型生成的软标签进行知识蒸馏是否能显著提升攻击性语言分类的性能？
• RQ3 当目标语言（如丹麦语或阿拉伯语）标注数据有限时，跨语言迁移学习的有效性如何？
• RQ4 在多语言攻击性语言检测中，使用多个预训练模型的集成学习是否能持续优于单模型基线？
• RQ5 不同的预训练策略（如 ERNIE 2.0 中的动态知识掩码）对下游攻击性语言分类任务有何影响？

主要发现

• 在 Sub-task A 中，Galileo 在所有语言上的平均 F1 得分为 0.8595，排名第一。
• 在 Sub-task A 中，系统在各语言上的 F1 分数分别为：英语 0.9199，希腊语 0.8510，土耳其语 0.8258，丹麦语 0.8020，阿拉伯语 0.8989，所有语言均位列前三。
• 在 Sub-task B（攻击类型分类）中，系统取得 F1 分数 0.7462，排名第一。
• 在 Sub-task C（攻击目标识别）中，系统取得 F1 分数 0.7145，同样排名第一。
• 使用软标签的知识蒸馏使性能相比硬标签训练提升了约 2.5–3%，证明其在复杂分类任务中的有效性。
• XLM-R Large 模型的集成性能优于单模型推理，尤其在丹麦语和阿拉伯语等低资源语言中表现更优，凸显了模型平均的优势。