[论文解读] Fine-tuning of Pre-trained Transformers for Hate, Offensive, and Profane Content Detection in English and Marathi

Anna Glazkova, Michael Kadantsev+1 more|arXiv (Cornell University)|Oct 25, 2021

Hate Speech and Cyberbullying Detection被引用 9

一句话总结

该论文针对英语和马拉地语的仇恨、冒犯性和粗俗内容检测，使用Twitter-RoBERTa和LaBSE微调了变换器模型。在HASOC 2021中，其在英语子任务A上取得81.99%的F1分数（第三名），在马拉地语子任务A上取得88.08%的F1分数（第二名），通过集成和数据增强技术提升了在类别不平衡数据集上的性能。

ABSTRACT

This paper describes neural models developed for the Hate Speech and Offensive Content Identification in English and Indo-Aryan Languages Shared Task 2021. Our team called neuro-utmn-thales participated in two tasks on binary and fine-grained classification of English tweets that contain hate, offensive, and profane content (English Subtasks A & B) and one task on identification of problematic content in Marathi (Marathi Subtask A). For English subtasks, we investigate the impact of additional corpora for hate speech detection to fine-tune transformer models. We also apply a one-vs-rest approach based on Twitter-RoBERTa to discrimination between hate, profane and offensive posts. Our models ranked third in English Subtask A with the F1-score of 81.99% and ranked second in English Subtask B with the F1-score of 65.77%. For the Marathi tasks, we propose a system based on the Language-Agnostic BERT Sentence Embedding (LaBSE). This model achieved the second result in Marathi Subtask A obtaining an F1 of 88.08%.

研究动机与目标

• 开发用于检测多语言社交媒体文本中仇恨、冒犯性和粗俗内容的鲁棒NLP模型。
• 研究额外训练语料库和数据增强技术对低资源和类别不平衡数据集上模型性能的影响。
• 比较单语和多语言BERT基础模型在马拉地语等低资源语言任务中的表现。
• 通过集成策略和二元分类头的一对多微调提升分类性能。
• 在HASOC 2021共享任务中，实现英语和马拉地语仇恨言论检测的最先进结果。

提出的方法

• 使用多源训练数据（包括HatebaseTwitter、HatEval和OLID）对Twitter-RoBERTa进行微调，实现对英语推文的二元分类和细粒度分类。
• 采用一对多集成策略，结合三个二元分类器（仇恨 vs 粗俗、仇恨 vs 冒犯、冒犯 vs 粗俗）以解决多分类预测问题。
• 在多个二元模型之间采用软投票机制，最终标签分配基于投票数和训练集类别频率进行平局判定。
• 通过微调的BART-base模型进行去噪重建，实现数据增强，生成合成训练样本。
• 探索了随机过采样和多语言数据组合（英语、印地语、马拉地语）等数据采样技术，以缓解类别不平衡问题。
• 评估了LaBSE和XLM-RoBERTa在马拉地语数据上的表现，分别在单语和多语言组合上进行微调，最终提交结果采用五个LaBSE模型的软投票集成。

实验结果

研究问题

• RQ1 在仇恨言论检测任务中，引入外部仇恨言论语料库如何提升微调后的变换器模型在英语上的性能？
• RQ2 数据增强和采样技术在缓解仇恨言论数据集中类别不平衡问题方面是否有效？
• RQ3 在马拉地语等低资源环境下，单语和多语言BERT基础模型的表现如何比较？
• RQ4 采用一对多集成策略结合二元分类器是否能在细粒度仇恨言论检测中优于直接的多分类分类？
• RQ5 对于低资源语言任务，与多语言BERT（XLM-RoBERTa）相比，语言无关的预训练（LaBSE）是否能带来更好的性能？

主要发现

• 基于Twitter-RoBERTa的模型在英语子任务A上取得81.99%的F1分数，位列56支队伍中的第三名。
• 在英语子任务B中，该模型取得65.77%的F1分数，位列37支队伍中的第二名。
• 基于LaBSE的模型在马拉地语子任务A上取得最高的88.08% F1分数，位列25支队伍中的第二名。
• LaBSE在所有配置中均优于XLM-RoBERTa，其中最佳单语马拉地语微调（F1=87.76%）超过多语言变体。
• 多语言微调提升了XLM-RoBERTa的性能，而LaBSE即使在单语马拉地语数据上也取得了更优结果。
• 结合多个二元分类器与基于投票的标签分配策略的集成方法，提升了英语和马拉地语任务上的预测一致性和最终性能。