[论文解读] Abusive and Threatening Language Detection in Urdu using Supervised Machine Learning and Feature Combinations

Muhammad Humayoun|arXiv (Cornell University)|Apr 6, 2022

Hate Speech and Cyberbullying Detection被引用 9

一句话总结

本文提出了一种监督式机器学习方法，用于检测乌尔都语推文中的侮辱性和威胁性语言，采用混合特征工程与集成建模。在任务A（侮辱性语言检测）中取得0.8318的F1分数，在任务B（威胁性语言检测）中取得0.4931的F1分数。经过超参数调优和通过过采样进行数据平衡后，SVM与优化的特征组合（如三元组n-gram和预训练的乌尔都语Word2Vec）表现最佳。

ABSTRACT

This paper presents the system descriptions submitted at the FIRE Shared Task 2021 on Urdu's Abusive and Threatening Language Detection Task. This challenge aims at automatically identifying abusive and threatening tweets written in Urdu. Our submitted results were selected for the third recognition at the competition. This paper reports a non-exhaustive list of experiments that allowed us to reach the submitted results. Moreover, after the result declaration of the competition, we managed to attain even better results than the submitted results. Our models achieved 0.8318 F1 score on Task A (Abusive Language Detection for Urdu Tweets) and 0.4931 F1 score on Task B (Threatening Language Detection for Urdu Tweets). Results show that Support Vector Machines with stopwords removed, lemmatization applied, and features vector created by the combinations of word n-grams for n=1,2,3 produced the best results for Task A. For Task B, Support Vector Machines with stopwords removed, lemmatization not applied, feature vector created from a pre-trained Urdu Word2Vec (on word unigrams and bigrams), and making the dataset balanced using oversampling technique produced the best results. The code is made available for reproducibility.

研究动机与目标

• 开发一个稳健的系统，用于识别乌尔都语社交媒体内容中的侮辱性和威胁性语言。
• 评估在低资源乌尔都语NLP环境下，各种特征工程技术的有效性。
• 通过数据平衡和语言学预处理的监督式机器学习提升分类性能。
• 为乌尔都语侮辱性语言检测贡献一个可复现的开源解决方案。
• 在FIRE 2021乌尔都语侮辱性和威胁性语言检测共享任务中取得具有竞争力的结果。

提出的方法

• 对乌尔都语文本输入应用停用词去除和词形还原以进行清洗。
• 为任务A构建特征向量，使用单字、双字和三字词组（n-gram）的组合。
• 在任务B中，为单字和双字词组使用预训练的乌尔都语Word2Vec嵌入。
• 将支持向量机（SVM）作为两个任务的主要分类器。
• 在任务B中应用SMOTE过采样以平衡类别不平衡的数据集。
• 通过迭代实验和交叉验证优化超参数。

实验结果

研究问题

• RQ1 在乌尔都语中，哪种语言学预处理与特征工程的组合能为侮辱性语言检测带来最高的F1分数？
• RQ2 在低资源乌尔都语NLP环境中，数据不平衡如何影响威胁性语言检测模型的性能？
• RQ3 预训练的Word2Vec嵌入能否提升乌尔都语威胁性语言检测的分类性能？
• RQ4 词形还原和停用词去除对乌尔都语侮辱性语言检测中模型泛化能力有何影响？
• RQ5 不同n-gram组合在捕捉乌尔都语推文中侮辱性语言模式方面有何差异？

主要发现

• 任务A中表现最佳的模型使用SVM结合n-gram特征（n=1,2,3）、停用词去除和词形还原，F1分数达到0.8318。
• 在任务B中，最高F1分数0.4931由SVM结合预训练的乌尔都语Word2Vec嵌入、不进行词形还原以及基于SMOTE的数据过采样实现。
• 词形还原提升了任务A的性能，而其在任务B中被移除则略有增益，表明不同任务对语言学预处理的需求不同。
• 使用三元组n-gram的特征工程显著增强了对乌尔都语推文中侮辱性语言的检测能力。
• 通过过采样实现的数据平衡对提升任务B的F1分数至关重要，因为该任务的数据集高度不平衡。
• 最终模型优于初始提交结果，表明竞赛后超参数调优与实验具有重要价值。