[论文解读] Arabic Offensive Language Detection Using Machine Learning and Ensemble Machine Learning Approaches

Fatemah Husain|arXiv (Cornell University)|May 16, 2020

Hate Speech and Cyberbullying Detection参考文献 17被引用 25

一句话总结

本研究评估了单模型与集成机器学习方法在阿拉伯语社交媒体文本中检测攻击性语言的表现，解决了方言差异和非正式书写带来的挑战。采用袋装集成模型的方法，F1得分达到88%，比表现最佳的单模型分类器高出6个百分点，证明了在低资源、高变异性的自然语言处理任务中，集成方法具有显著优势。

ABSTRACT

This study aims at investigating the effect of applying single learner machine learning approach and ensemble machine learning approach for offensive language detection on Arabic language. Classifying Arabic social media text is a very challenging task due to the ambiguity and informality of the written format of the text. Arabic language has multiple dialects with diverse vocabularies and structures, which increase the complexity of obtaining high classification performance. Our study shows significant impact for applying ensemble machine learning approach over the single learner machine learning approach. Among the trained ensemble machine learning classifiers, bagging performs the best in offensive language detection with F1 score of 88%, which exceeds the score obtained by the best single learner classifier by 6%. Our findings highlight the great opportunities of investing more efforts in promoting the ensemble machine learning approach solutions for offensive language detection models.

研究动机与目标

• 为解决阿拉伯语社交媒体中检测攻击性语言的挑战，该挑战因方言多样性与非正式语言使用而复杂化。
• 比较单模型机器学习模型与集成机器学习模型在阿拉伯语攻击性语言检测中的性能表现。
• 识别在低资源、高变异性的阿拉伯语文本中提升分类准确率的最有效集成技术。
• 展示在传统模型表现困难的阿拉伯语攻击性语言检测任务中，使用集成方法的可行性和优势。

提出的方法

• 本研究采用多种单模型机器学习模型作为基线分类，包括逻辑回归、支持向量机（SVM）、随机森林和朴素贝叶斯。
• 应用袋装、提升和投票等集成方法，结合多个基学习器的预测结果，以提高模型的鲁棒性与准确性。
• 数据集由标注了攻击性语言的阿拉伯语社交媒体文本构成，并经过预处理步骤以处理方言和非正式表达形式。
• 特征工程采用词袋模型和TF-IDF表示法，以捕捉文本中的词汇模式。
• 使用标准自然语言处理指标进行模型评估，特别是F1得分，以衡量在攻击性语言检测任务中类别不平衡情况下的性能表现。
• 基于F1得分选择表现最佳的模型，其中袋装方法展现出最高性能。

实验结果

研究问题

• RQ1 单模型机器学习模型在阿拉伯语社交媒体文本中检测攻击性语言的表现如何？
• RQ2 与单模型相比，集成机器学习方法在阿拉伯语攻击性语言检测中的性能提升程度如何？
• RQ3 在袋装、提升和投票这三种集成技术中，哪一种在阿拉伯语攻击性语言检测中获得最高的F1得分？
• RQ4 集成方法能否有效缓解阿拉伯语中因方言差异和非正式书写带来的挑战？

主要发现

• 集成机器学习方法在阿拉伯语攻击性语言检测中显著优于单模型分类器，F1得分提升6个百分点。
• 在所有集成方法中，袋装方法取得最高的F1得分88%，是本研究中最有效的方案。
• 表现最佳的单模型分类器F1得分为82%，低于袋装集成模型的性能。
• 结果表明，集成方法在处理阿拉伯语社交媒体文本固有的语言复杂性与高变异性方面尤为有效。