[论文解读] Cyberbullying Detection -- Technical Report 2/2018, Department of Computer Science AGH, University of Science and Technology

Michał Ptaszyński, Gniewosz Leliwa+2 more|arXiv (Cornell University)|Aug 2, 2018

Advanced Malware Detection Techniques参考文献 3被引用 10

一句话总结

本论文基于Formspring数据集，通过严谨的非Mechanical Turk标注流程，构建了一个新标注的、高质量的网络欺凌检测数据集。Samurai网络欺凌检测系统在准确率、精确率、召回率等所有指标上均优于五款商业工具和FastText，展现出其在实时内容审核中的有效性与适应性。

ABSTRACT

The research described in this paper concerns automatic cyberbullying detection in social media. There are two goals to achieve: building a gold standard cyberbullying detection dataset and measuring the performance of the Samurai cyberbullying detection system. The Formspring dataset provided in a Kaggle competition was re-annotated as a part of the research. The annotation procedure is described in detail and, unlike many other recent data annotation initiatives, does not use Mechanical Turk for finding people willing to perform the annotation. The new annotation compared to the old one seems to be more coherent since all tested cyberbullying detection system performed better on the former. The performance of the Samurai system is compared with 5 commercial systems and one well-known machine learning algorithm, used for classifying textual content, namely Fasttext. It turns out that Samurai scores the best in all measures (accuracy, precision and recall), while Fasttext is the second-best performing algorithm.

研究动机与目标

• 通过采用结构化、专家指导的流程对Formspring数据集进行重新标注，而非使用Mechanical Turk，以创建更连贯、可靠的网络欺凌检测金标准数据集。
• 利用新标注数据，评估Samurai网络欺凌检测系统相较于多种商业系统和FastText的性能表现。
• 识别并解决现有标注中的不一致性问题，特别是针对轻微性相关言论和双方同意的侮辱性语言等模糊案例。
• 为未来在敏感任务（如网络欺凌检测）中的NLP标注工作建立最佳实践，强调清晰的标注指南、疲劳管理及专家监督。

提出的方法

• 使用来自AGH科学与技术大学的受训标注员对Kaggle上的Formspring数据集进行重新标注，避免使用Mechanical Turk以提升一致性和质量。
• 制定了详细的标注指南，包含正负样本的示例，尤其针对边缘案例（如双方同意的侮辱性语言和轻微性相关言论）。
• 实施多阶段标注流程，并设置检查点，供标注员与专家讨论，以确保与标注指南保持一致。
• 在Samurai深度神经网络中引入符号治理层，整合语法规则与专家知识，以减少对大规模标注数据集的依赖。
• 采用由AGH大学主持的盲测评估框架，确保客观性，即Samurai与其他系统在原始标注和新标注数据上均接受测试。
• 对误报和漏报进行错误分析，以识别重复出现的标注问题与系统局限性，尤其关注模糊内容类型的处理。

实验结果

研究问题

• RQ1 非Mechanical Turk、专家指导的标注流程在多大程度上提升了网络欺凌检测数据集的一致性与可靠性？
• RQ2 相较于原始的众包标注，新标注流程在多大程度上提升了网络欺凌检测系统的性能？
• RQ3 在相同基准测试下，Samurai系统在准确率、精确率和召回率方面与商业解决方案及FastText相比表现如何？
• RQ4 网络欺凌检测中主要的标注不一致性来源是什么？如何通过改进指南与流程设计加以缓解？
• RQ5 结合符号治理的混合深度学习系统是否能在检测细微或依赖语境的网络欺凌行为方面实现更高性能与更强鲁棒性？

主要发现

• 新标注流程生成的数据集在连贯性方面显著优于原始的Mechanical Turk标注数据集，表现为所有测试的网络欺凌检测系统性能均得到提升。
• Samurai系统在所有评估指标（准确率、精确率、召回率）上均达到最高性能，超越五款商业系统和FastText。
• 误报和漏报主要源于涉及轻微性相关言论和双方同意的侮辱性语言等模糊案例，凸显了制定更清晰标注指南的必要性。
• 大量标注错误源于对指南应用不一致，特别是在区分双方同意与非同意的侮辱性语言方面。
• 错误分析显示，79个错误标签中有30个涉及直接侮辱但无明确冒犯意图，另有11个与标注规则不兼容，表明指南存在缺陷。
• 本研究证明，通过精心设计的系统（如Samurai）可实现高精度、高召回率的网络欺凌检测，使实时内容审核成为可行且可靠的技术方案。