[论文解读] Hateminers : Detecting Hate speech against Women
本论文提出 Hateminers 系统，该系统通过结合句子嵌入、TF-IDF 向量和词袋特征，利用机器学习技术检测 Twitter 上针对女性的仇恨言论。该模型在英语子任务 A 中取得 70.4% 的准确率，排名第一；在子任务 B 中取得 0.37 的宏 F1 分数，排名第五，结果凸显了在厌女类别分类中数据不平衡带来的挑战。
With the online proliferation of hate speech, there is an urgent need for systems that can detect such harmful content. In this paper, We present the machine learning models developed for the Automatic Misogyny Identification (AMI) shared task at EVALITA 2018. We generate three types of features: Sentence Embeddings, TF-IDF Vectors, and BOW Vectors to represent each tweet. These features are then concatenated and fed into the machine learning models. Our model came First for the English Subtask A and Fifth for the English Subtask B. We release our winning model for public use and it's available at https://github.com/punyajoy/Hateminers-EVALITA.
研究动机与目标
- 开发一种有效检测社交媒体平台中英文推文内厌女内容的系统。
- 应对日益严重的针对女性的网络仇恨言论问题，特别是性化虐待和基于性别的敌意行为。
- 通过稳健的特征工程与集成建模，提升对厌女内容的自动化检测能力。
- 发布一个公开可用的高性能模型，以供未来仇恨言论检测研究与应用。
提出的方法
- 通过移除 URL、转为小写、展开缩写、去除表情符号、停用词和标点符号，并进行分词与词干化处理，对推文进行预处理。
- 使用通用句子编码器生成句子嵌入，获得 512 维的上下文表征。
- 使用 scikit-learn 的向量化器从预处理后的文本生成 TF-IDF 向量，以捕捉词频与逆文档频率信息。
- 通过平均每个句子的预训练 GloVe 词嵌入（300 维）构建词袋（BoW）向量。
- 将三种特征类型（句子嵌入、TF-IDF、BoW）拼接成每个推文的单一特征向量。
- 在组合特征集上训练并评估多种分类器（逻辑回归、XGBoost、CatBoost），用于二分类与多分类任务。
实验结果
研究问题
- RQ1结合基于深度学习的句子嵌入与传统 NLP 特征（TF-IDF、BoW）在检测厌女推文方面的有效性如何？
- RQ2不同机器学习模型（逻辑回归、XGBoost、CatBoost）在分类英文推文中的厌女内容时表现如何？
- RQ3为何某些厌女类别（如“偏离”、“支配”）在模型调优后仍表现出显著较低的分类性能？
- RQ4数据集中的类别不平衡在多大程度上影响了仇恨言论检测系统的泛化能力与公平性？
主要发现
- Hateminers 模型在英语子任务 A（二元厌女分类）中取得 70.4% 的最高准确率，位列共享任务第一名。
- 在子任务 B 中，该任务要求对厌女行为类型及目标类型进行多分类，最佳系统取得 0.37 的宏 F1 分数，整体排名第 5。
- 模型性能显著受到数据不平衡的制约，特别是对“偏离”和“支配”等代表性不足类别的分类效果较差。
- 在子任务 A 中，逻辑回归表现优于其他模型；而在子任务 B 中，CatBoost 表现最佳，表明其对类别不平衡具有更强的鲁棒性。
- 尽管在二分类任务中表现优异，系统在细粒度分类方面仍存在困难，尤其在检测罕见或不常见的厌女形式时。
- 本研究证实，将句子嵌入、TF-IDF 与 BoW 向量进行特征拼接，相比单独使用任一特征集，能显著提升检测性能。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。