[论文解读] Machine Learning Suites for Online Toxicity Detection
本文在 Jigsaw Wikipedia 评论数据集上评估了 62 种机器学习分类器，涵盖 19 种算法族，以识别网络暴力内容。基于树的模型提供了最具可解释性的规则和特征重要性排序，而简单的垃圾词列表在 28 种语法、情感、情绪和异常值词典中表现出了最强的预测能力。
To identify and classify toxic online commentary, the modern tools of data science transform raw text into key features from which either thresholding or learning algorithms can make predictions for monitoring offensive conversations. We systematically evaluate 62 classifiers representing 19 major algorithmic families against features extracted from the Jigsaw dataset of Wikipedia comments. We compare the classifiers based on statistically significant differences in accuracy and relative execution time. Among these classifiers for identifying toxic comments, tree-based algorithms provide the most transparently explainable rules and rank-order the predictive contribution of each feature. Among 28 features of syntax, sentiment, emotion and outlier word dictionaries, a simple bad word list proves most predictive of offensive commentary.
研究动机与目标
- 系统评估一系列机器学习分类器在检测网络暴力评论中的表现。
- 基于 Jigsaw Wikipedia 评论数据集中的特征，比较分类器在准确率和执行时间方面的表现。
- 识别哪些特征类型——语法、情感、情绪或异常值词典——对毒性预测的贡献最强。
- 评估模型的可解释性，特别是特征贡献和规则透明度方面。
- 确定简单的词汇特征是否在毒性检测中优于复杂的语言学或情感特征。
提出的方法
- 本研究使用来自 19 种算法族的 62 种分类器，包括逻辑回归、支持向量机、随机森林、梯度提升和神经网络。
- 从 Jigsaw 数据集中提取特征，涵盖语法、情感、情绪和异常值词典，共 28 种独立特征。
- 使用准确率作为主要评估指标，并通过显著性检验比较不同分类器的性能。
- 测量执行时间以评估计算效率，尤其针对实时在线监控应用。
- 分析基于树的模型在提供特征重要性排序和透明决策规则方面的能力。
- 进行消融分析，以评估各类特征类型（包括简单的垃圾词列表）的预测能力。
实验结果
研究问题
- RQ1在 Jigsaw 数据集中，哪种机器学习分类器族在检测网络暴力评论方面达到最高准确率？
- RQ2不同分类器的执行时间如何比较？哪些适合用于实时在线毒性检测？
- RQ3在语法、情感、情绪或异常值词典中，哪种特征类型对毒性预测的贡献最大？
- RQ4基于树的模型在多大程度上能提供可解释的、基于规则的毒性预测说明？
- RQ5简单的垃圾词列表是否在预测暴力评论方面优于更复杂的语言学或情感特征？
主要发现
- 基于树的算法（如随机森林和梯度提升）提供了最透明、最可解释的模型，并具有清晰的特征重要性排序。
- 在所评估的 28 个特征中，简单的垃圾词列表被发现是对暴力评论最具预测力的特征。
- 研究识别出分类器之间存在显著的性能差异，其中梯度提升模型实现了高准确率。
- 执行时间在不同算法间差异显著，基于树的模型在速度与性能之间提供了良好的平衡。
- 与词汇和句法特征相比，情感和情绪特征的预测能力有限。
- 结果表明，通过简单、可解释的模型和基础词汇特征，即可实现高性能的预测。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。