[论文解读] A Twitter BERT Approach for Offensive Language Detection in Marathi

Tanmay Chavan, Shantanu Patankar+3 more|arXiv (Cornell University)|Dec 20, 2022

Hate Speech and Cyberbullying Detection被引用 8

一句话总结

本文提出了一种微调后的 MahaTweetBERT 模型，用于马拉地语中的攻击性语言检测，该模型利用马拉地语推文的领域特定预训练，并结合 HASOC 2021 和 L3Cube-MahaHate 的数据增强技术。该模型在 HASOC 2022 测试集上实现了新的 SOTA F1 得分 98.43，表明在低资源环境下，马拉地语推文 BERT 模型在社交媒体攻击性语言检测任务中优于通用多语言模型和专用于仇恨内容的 BERT 模型。

ABSTRACT

Automated offensive language detection is essential in combating the spread of hate speech, particularly in social media. This paper describes our work on Offensive Language Identification in low resource Indic language Marathi. The problem is formulated as a text classification task to identify a tweet as offensive or non-offensive. We evaluate different mono-lingual and multi-lingual BERT models on this classification task, focusing on BERT models pre-trained with social media datasets. We compare the performance of MuRIL, MahaTweetBERT, MahaTweetBERT-Hateful, and MahaBERT on the HASOC 2022 test set. We also explore external data augmentation from other existing Marathi hate speech corpus HASOC 2021 and L3Cube-MahaHate. The MahaTweetBERT, a BERT model, pre-trained on Marathi tweets when fine-tuned on the combined dataset (HASOC 2021 + HASOC 2022 + MahaHate), outperforms all models with an F1 score of 98.43 on the HASOC 2022 test set. With this, we also provide a new state-of-the-art result on HASOC 2022 / MOLD v2 test set.

研究动机与目标

• 为解决低资源印度语言（特别是马拉地语）中攻击性语言检测的挑战，此类社交媒体仇恨言论会损害心理健康与社会和谐。
• 评估单语和多语言 BERT 模型（特别是基于马拉地语社交媒体文本预训练的模型）在攻击性语言识别中的有效性。
• 探究仅在仇恨内容上预训练的模型是否优于在更广泛的马拉地语推文语料上预训练的模型。
• 探索使用多个外部马拉地语仇恨言论数据集进行数据增强，以提升模型泛化能力和性能。

提出的方法

• 在 HASOC 2022、HASOC 2021 和 L3Cube-MahaHate 数据集的联合训练集上，对多个 BERT 模型（MahaTweetBERT、MahaTweetBERT-Hateful、MahaBERT、MuRIL 和 MarathiBert V2）进行微调。
• 所选预训练模型具有特定的领域相关性：MahaTweetBERT 和 MahaTweetBERT-Hateful 均在大规模马拉地语推文（包括仇恨内容）上进行了预训练。
• 通过整合三个不同的马拉地语仇恨言论数据集（HASOC 2021、HASOC 2022 和 L3Cube-MahaHate）实现数据增强，以增加训练数据的多样性与规模。
• 在 HASOC 2022 测试集上，使用宏平均 F1 分数作为主要评估指标，以确保在攻击性与非攻击性类别间表现均衡。
• 通过消融研究比较不同训练数据组合下的性能表现：仅 HASOC 2022、HASOC 2022 + HASOC 2021，以及 HASOC 2022 + HASOC 2021 + MahaHate。
• 在最终测试集评估前，基于 HASOC 2022 开发集上的验证性能选择最佳模型检查点。

实验结果

研究问题

• RQ1 马尔地语推文专用 BERT 模型（MahaTweetBERT）是否在马拉地语社交媒体的攻击性语言检测中优于通用多语言模型和专用于仇恨内容的 BERT 模型？
• RQ2 使用多个外部马拉地语仇恨言论数据集（HASOC 2021、L3Cube-MahaHate）进行数据增强，是否能显著提升模型在 HASOC 2022 基准上的性能？
• RQ3 为何在组合数据集上微调的模型仍无法正确分类某些常见句子？这揭示了模型泛化能力的哪些局限性？
• RQ4 在低资源环境下，是否始终由仅在仇恨内容上预训练的 BERT 模型（MahaTweetBERT-Hateful）优于在混合推文语料上预训练的模型？
• RQ5 与通用或多语言预训练相比，基于马拉地语推文进行领域特定预训练，在下游攻击性语言检测任务中的性能提升程度如何？

主要发现

• 在 HASOC 2022 测试集上，经过在 HASOC 2022、HASOC 2021 和 L3Cube-MahaHate 数据集组合上微调后，预训练于 4000 万条马拉地语推文的 MahaTweetBERT 模型取得了最高的 F1 得分 98.43。
• 与仅使用 HASOC 2022 训练相比，HASOC 2022、HASOC 2021 和 MahaHate 数据集的组合带来了显著的性能提升，表明当前数据规模下模型尚未达到性能饱和。
• 尽管直觉上认为，但仅在仇恨马拉地语推文上预训练的 MahaTweetBERT-Hateful 模型在更大规模混合数据语料上微调时，表现反而不如 MahaTweetBERT，表明仅仇恨内容预训练可能限制模型泛化能力。
• 在组合数据集上微调的模型错误分类了相同的示例集合，表明存在潜在的数据偏差或模型收敛模式，这些模式在不同训练设置中持续存在。
• MahaTweetBERT 模型在所有其他模型（包括 MuRIL 和 MarathiBert V2）中表现最佳，证实了在社交媒体文本上进行领域特定预训练对低资源语言下游 NLP 任务的价值。
• 本研究在 HASOC 2022 / MOLD v2 测试集上建立了新的 SOTA 结果，MahaTweetBERT 实现了 98.43 的 F1 得分，标志着首次成功将推文专用 BERT 模型与多源数据增强应用于马拉地语攻击性语言检测。