[论文解读] Meta AI at Arabic Hate Speech 2022: MultiTask Learning with Self-Correction for Hate Speech Classification

Badr AlKhamissi, Mona Diab|arXiv (Cornell University)|May 16, 2022

Hate Speech and Cyberbullying Detection被引用 9

一句话总结

本文提出了一种具有自一致性校正机制的多任务学习（MTL）框架，用于细粒度阿拉伯语仇恨言论分类，利用微调后的 MARBERT 模型在三个子任务上进行处理：攻击性语言检测、仇恨言论识别以及细粒度类别分类。该方法在仇恨言论子任务上取得了 82.7% 的 F1 分数，相较于先前工作相对提升了 3.4%。

ABSTRACT

In this paper, we tackle the Arabic Fine-Grained Hate Speech Detection shared task and demonstrate significant improvements over reported baselines for its three subtasks. The tasks are to predict if a tweet contains (1) Offensive language; and whether it is considered (2) Hate Speech or not and if so, then predict the (3) Fine-Grained Hate Speech label from one of six categories. Our final solution is an ensemble of models that employs multitask learning and a self-consistency correction method yielding 82.7% on the hate speech subtask -- reflecting a 3.4% relative improvement compared to previous work.

研究动机与目标

• 解决阿拉伯语中低资源仇恨言论检测的挑战，该语言在线存在感日益增长，但高质量标注数据集有限。
• 通过将任务分解为三个子任务——攻击性语言检测、仇恨言论识别和细粒度类别分类——提高仇恨言论分类的可靠性与粒度。
• 通过采用多标签、多任务框架，利用相关任务之间的共享表征，克服二元仇恨言论标注中的主观性问题。
• 通过多任务学习和一种新颖的自一致性校正机制，对最终预测进行优化，提升模型的鲁棒性与泛化能力。
• 在新的阿拉伯语细粒度仇恨言论检测基准数据集上，验证联合训练与后处理校正方法的有效性。

提出的方法

• 在共享数据集上微调 MARBERT 模型，用于三个子任务：攻击性语言检测、仇恨言论分类和细粒度类别预测。
• 使用多任务学习（MTL）训练模型集成，其中单一共享编码器（MARBERT）处理输入推文，并将表征传递给特定任务的分类器。
• 在推理后应用自一致性校正方法，通过多次带数据增强的前向传播进行投票，以确定最终预测，从而提升置信度与准确性。
• 针对每个子任务独立优化，采用早停策略并基于验证集 F1 分数进行模型选择，随后进行集成平均。
• 在自一致性步骤的推理过程中使用数据增强和 Dropout，以生成多样化预测并降低预测方差。
• 开展消融实验，评估 MTL 和自校正对模型性能的影响，分离其对整体准确率的贡献。

实验结果

研究问题

• RQ1 通过在相关子任务之间共享表征，多任务学习是否能提升阿拉伯语细粒度仇恨言论分类的性能？
• RQ2 自一致性校正方法在优化模型预测并降低仇恨言论分类中的不确定性方面有多有效？
• RQ3 在仇恨言论子任务的 F1 分数提升中，多任务学习与自校正的相对贡献分别是什么？
• RQ4 在攻击性语言检测、仇恨言论识别和细粒度类别分类任务上进行联合训练，是否能比单任务基线模型带来更好的泛化能力？
• RQ5 所提出的方法在阿拉伯语细粒度仇恨言论检测共享任务中，相较于现有最先进模型，优势有多大？

主要发现

• 所提出的多任务学习模型在仇恨言论子任务上取得了 82.7% 的 F1 分数，相较于先前最先进方法相对提升了 3.4%。
• 自一致性校正方法通过在多次前向传播中进行集成投票，有效提升了细粒度仇恨言论分类的性能。
• 消融实验表明，与单任务基线相比，联合训练所有三个子任务显著提升了模型的泛化能力并减少了过拟合。
• 结合自校正的 MTL 模型集成在所有三个子任务的所有指标上均优于所有报告的基线模型。
• 多任务学习带来了更好的数据效率和更快的收敛速度，因为共享表征有助于模型学习到更鲁棒且可迁移的特征。
• 该方法在低资源阿拉伯语自然语言处理任务中表现出强鲁棒性，表明 MTL 和自校正能够有效缓解细粒度仇恨言论检测中的数据稀缺问题。