[论文解读] Cyberbullying Detection in Social Networks Using Deep Learning Based Models; A Reproducibility Study

Maral Dadvar, Kai Eckert|arXiv (Cornell University)|Dec 19, 2018

Hate Speech and Cyberbullying Detection参考文献 17被引用 70

一句话总结

本文在 Wikipedia、Twitter 和 Formspring 上复现了基于深度学习的网络暴力检测结果，扩展到一个新的 YouTube 数据集（~54k 条帖子，~4k 名用户），并考察模型的跨平台迁移。

ABSTRACT

Cyberbullying is a disturbing online misbehaviour with troubling consequences. It appears in different forms, and in most of the social networks, it is in textual format. Automatic detection of such incidents requires intelligent systems. Most of the existing studies have approached this problem with conventional machine learning models and the majority of the developed models in these studies are adaptable to a single social network at a time. In recent studies, deep learning based models have found their way in the detection of cyberbullying incidents, claiming that they can overcome the limitations of the conventional models, and improve the detection performance. In this paper, we investigate the findings of a recent literature in this regard. We successfully reproduced the findings of this literature and validated their findings using the same datasets, namely Wikipedia, Twitter, and Formspring, used by the authors. Then we expanded our work by applying the developed methods on a new YouTube dataset (~54k posts by ~4k users) and investigated the performance of the models in new social media platforms. We also transferred and evaluated the performance of the models trained on one platform to another platform. Our findings show that the deep learning based models outperform the machine learning models previously applied to the same YouTube dataset. We believe that the deep learning based models can also benefit from integrating other sources of information and looking into the impact of profile information of the users in social networks.

研究动机与目标

• 使用相同数据集（Wikipedia、Twitter、Formspring）再现最近文献中关于基于深度学习的网络暴力检测模型的发现。
• 将评估扩展到一个新的社交平台（YouTube），并评估相对于现有方法的性能。
• 探索跨平台迁移：在一个平台上训练的模型在其他平台上的表现。
• 提出将用户档案数据等附加信息纳入以提升检测效果的潜在益处。

提出的方法

• 使用相同数据集（Wikipedia、Twitter、Formspring）复现实验室先前文献中报道的基于深度学习的网络暴力检测方法。
• 将复现的方法应用于一个新的 YouTube 数据集（约 54,000 条帖子，约 4,000 名用户），并评估性能。
• 在 YouTube 数据集上将深度学习模型与传统机器学习基线进行比较。
• 通过在一个平台上训练的模型在其他平台上进行评估来研究跨平台迁移。
• 讨论整合附加信息（如用户档案数据）对模型性能的影响。

实验结果

研究问题

• RQ1 在 YouTube 数据集上，基于深度学习的模型是否如在早期数据集中那样优于传统机器学习模型？
• RQ2 是否可以用相同的数据集再现 Wikipedia、Twitter 和 Formspring 的研究结果？
• RQ3 在一个社交平台上训练的模型迁移到另一个平台的效果如何？
• RQ4 包括用户档案信息对网络暴力检测性能的潜在影响是什么？

主要发现

• 基于 DL 的模型在 YouTube 数据集上优于先前应用于该数据集的机器学习模型。
• 作者使用相同数据集成功再现了关于 Wikipedia、Twitter 和 Formspring 的文献发现。
• 应用到新的 YouTube 数据集时，DL 模型相对于传统 ML 基线表现更优。
• 在一个平台上训练的模型可以迁移到另一个平台进行评估。
• 整合附加信息，如用户档案信息，可能有利于模型性能。