[论文解读] Degree based Classification of Harmful Speech using Twitter Data

Sanjana Sharma, Saksham Agrawal+1 more|arXiv (Cornell University)|Aug 1, 2018

Hate Speech and Cyberbullying Detection参考文献 8被引用 5

一句话总结

本文提出了一种基于仇恨意图程度的推特有害言论新型本体分类法，创建了一个以这些类别标注的新数据集。它引入了一种监督分类系统，用于检测这些细微的有害言论类别，为更稳健、更细致的自动检测系统奠定了基础。

ABSTRACT

Harmful speech has various forms and it has been plaguing the social media in different ways. If we need to crackdown different degrees of hate speech and abusive behavior amongst it, the classification needs to be based on complex ramifications which needs to be defined and hold accountable for, other than racist, sexist or against some particular group and community. This paper primarily describes how we created an ontological classification of harmful speech based on degree of hateful intent and used it to annotate twitter data accordingly. The key contribution of this paper is the new dataset of tweets we created based on ontological classes and degrees of harmful speech found in the text. We also propose supervised classification system for recognizing these respective harmful speech classes in the texts hence. This serves as a preliminary work to lay down foundation on defining different classes of harmful speech and subsequent work will be done in making it’s automatic detection more robust and efficient.

研究动机与目标

• 为解决有害言论检测中缺乏细粒度分类的问题，通过定义超越简单群体仇恨的仇恨意图程度。
• 开发一种本体框架，以捕捉社交媒体内容中危害言论的复杂性与渐变性。
• 创建一个根据这些本体类别和危害言论程度标注的新Twitter推文数据集。
• 设计并实现一种监督分类系统，能够识别文本数据中的这些不同类别。

提出的方法

• 开发了一种基于仇恨意图程度而非仅群体目标的本体分类系统，对有害言论进行分类。
• 使用所提出的本体类别和有害言论程度对大规模推特数据集进行了标注。
• 采用监督机器学习技术，在标注数据集上训练分类模型，以识别有害言论类别。
• 定义并应用了特定标注标准，根据危害意图的程度对推文进行标注，从而实现细微分类。

实验结果

研究问题

• RQ1 如何基于仇恨意图的程度而非仅基于群体的仇恨，系统性地对有害言论进行分类？
• RQ2 Twitter数据中不同程度有害言论的关键特征和区别是什么？
• RQ3 监督分类系统在检测这些细微有害言论类别方面的有效性如何？
• RQ4 一个新标注的、基于程度的有害言论类别的细粒度Twitter推文数据集是什么样的？

主要发现

• 本文成功创建了一个标注了本体类别和有害言论程度的新Twitter推文数据集。
• 所提出的监督分类系统在检测细微有害言论类别方面展示了可行性。
• 本体框架使有害言论的分类更加复杂且更具问责性，超越了二元或以群体为中心的标签。
• 该研究为未来在自动检测有害言论方面实现更高精度和粒度的研究提供了基础框架。