[论文解读] OSACT4 Shared Task on Offensive Language Detection: Intensive Preprocessing-Based Approach.

Fatemah Husain|arXiv (Cornell University)|May 1, 2020

Hate Speech and Cyberbullying Detection参考文献 8被引用 6

一句话总结

本文提出了一种基于密集预处理的阿拉伯语社交媒体文本中攻击性语言与仇恨言论检测方法，表明严格的文本清洗可显著提升分类性能。该方法在OSACT4共享任务中取得最先进结果，在子任务B（仇恨言论检测）中以95%的F1得分获得第一名，在子任务A（攻击性语言检测）中以89%的F1得分获得第三名。

ABSTRACT

The preprocessing phase is one of the key phases within the text classification pipeline. This study aims at investigating the impact of the preprocessing phase on text classification, specifically on offensive language and hate speech classification for Arabic text. The Arabic language used in social media is informal and written using Arabic dialects, which makes the text classification task very complex. Preprocessing helps in dimensionality reduction and removing useless content. We apply intensive preprocessing techniques to the dataset before processing it further and feeding it into the classification model. An intensive preprocessing-based approach demonstrates its significant impact on offensive language detection and hate speech detection shared tasks of the fourth workshop on Open-Source Arabic Corpora and Corpora Processing Tools (OSACT). Our team wins the third place (3rd) in the Sub-Task A Offensive Language Detection division and wins the first place (1st) in the Sub-Task B Hate Speech Detection division, with an F1 score of 89% and 95%, respectively, by providing the state-of-the-art performance in terms of F1, accuracy, recall, and precision for Arabic hate speech detection.

研究动机与目标

• 研究密集预处理对阿拉伯语社交媒体文本中攻击性语言与仇恨言论检测的影响。
• 解决非正式阿拉伯方言和社交媒体内容中的噪声对文本分类带来的挑战。
• 通过降维和去除无关文本噪声来提升分类性能。
• 在阿拉伯语攻击性语言与仇恨言论检测的OSACT4共享任务中实现最先进结果。

提出的方法

• 在将阿拉伯语文本数据集输入分类模型之前应用密集预处理技术。
• 利用预处理技术降低维度，并消除特殊字符、多余空格和非标准拼写等无关或冗余内容。
• 利用领域特定的标准化方法对阿拉伯语方言进行处理，将非正式形式统一为更一致的表达形式。
• 采用优先将文本清洗作为基础步骤的处理流程，再进行模型训练。
• 根据阿拉伯语社交媒体文本的语言特征，选择并应用定制化的预处理策略。
• 使用预处理后的数据训练分类模型，使其在OSACT4共享任务中实现高性能表现。

实验结果

研究问题

• RQ1 密集预处理对阿拉伯语社交媒体文本中攻击性语言检测性能有何影响？
• RQ2 预处理在非正式阿拉伯语文本的仇恨言论检测中能提升多大程度？
• RQ3 在低资源、方言密集的阿拉伯语文本分类中，是否预处理主导的方法能优于其他方法？
• RQ4 降维与噪声去除对阿拉伯语攻击性语言检测中F1、精确率、召回率和准确率的影响如何？
• RQ5 仅通过预处理是否能实现阿拉伯语仇恨言论检测的最先进性能？

主要发现

• 基于密集预处理的方法在子任务A（攻击性语言检测）中取得了89%的F1得分，在OSACT4共享任务中位列第三。
• 该方法在子任务B（仇恨言论检测）中实现了最先进水平的95% F1得分，在共享任务中获得第一名。
• 该方法在仇恨言论检测任务的所有指标上均表现出优越性能——包括F1、准确率、精确率和召回率。
• 预处理通过减少噪声并标准化非正式阿拉伯语方言，显著提升了模型性能。
• 结果证实，预处理是阿拉伯语文本分类中的关键且高影响力的步骤，尤其在低资源和方言密集的领域中更为重要。
• 本研究确立了密集预处理可在无需复杂模型架构的情况下实现最先进结果。