[论文解读] Detection of Cyberbullying Incidents on the Instagram Social Network

Homa Hosseinmardi, Sabrina Arredondo Mattson+4 more|arXiv (Cornell University)|Mar 12, 2015

Hate Speech and Cyberbullying Detection被引用 91

一句话总结

本文提出一种多模态方法，通过结合文本、图像和元数据特征，利用线性SVM分类器检测Instagram上的网络欺凌行为。该方法通过整合由人工标注者评估的网络欺凌及更广泛的网络攻击行为的标注数据，实现了87%的准确率，表明多模态特征显著优于仅使用文本的方法。

ABSTRACT

Cyberbullying is a growing problem affecting more than half of all American teens. The main goal of this paper is to investigate fundamentally new approaches to understand and automatically detect incidents of cyberbullying over images in Instagram, a media-based mobile social network. To this end, we have collected a sample Instagram data set consisting of images and their associated comments, and designed a labeling study for cyberbullying as well as image content using human labelers at the crowd-sourced Crowdflower Web site. An analysis of the labeled data is then presented, including a study of correlations between different features and cyberbullying as well as cyberaggression. Using the labeled data, we further design and evaluate the accuracy of a classifier to automatically detect incidents of cyberbullying.

研究动机与目标

• 区分图像类社交媒体（如Instagram）中的网络欺凌与一般网络攻击行为。
• 收集并标注大规模Instagram媒体会话数据集，包含相关评论、图片和用户元数据。
• 分析网络欺凌与评论数量、时间模式及图像内容等特征之间的相关性。
• 设计并评估一种多模态分类器，以提升检测准确率，超越仅使用文本的方法。
• 提供一个大规模、人工标注的数据集，用于区分网络欺凌（具有重复负面行为和权力失衡）与一般网络攻击

提出的方法

• 使用雪球抽样方法，从25,000个公开用户主页中收集了697,000个Instagram媒体会话。
• 通过Crowdflower平台开展众包标注研究，每个媒体会话由五名标注者进行标注，并采用多数投票标准定义网络欺凌。
• 使用单字和三元语法提取文本特征，并应用SVD将维度降低至200个分量。
• 将元数据（如关注者/粉丝数、点赞/评论行为）和图像类别标签整合到特征集中。
• 在将元数据和图像类别特征通过核主成分分析（kernel PCA）降低至20个分量后，与SVD降维后的文本特征拼接。
• 在组合并降维后的特征集上训练线性SVM分类器，以实现高精度和高召回率的网络欺凌检测。

实验结果

研究问题

• RQ1 在图像类社交媒体（如Instagram）中，网络欺凌与一般网络攻击行为有何区别？
• RQ2 评论数量、评论时间聚类模式以及图像内容等特征与标注的网络欺凌事件之间存在何种相关性？
• RQ3 与仅使用文本的方法相比，多模态特征（文本、图像、元数据）在多大程度上能提升网络欺凌检测的准确率？
• RQ4 人工标注者在识别网络欺凌方面的一致性如何？哪些因素会影响他们的共识？
• RQ5 Instagram媒体会话中负面内容的多大比例实际构成网络欺凌，而非一般网络攻击？

主要发现

• 约48%的高粗俗语含量媒体会话未被多数投票标准归类为网络欺凌，表明并非所有负面内容都构成网络欺凌。
• 标注者在识别网络欺凌方面表现出高度一致性，表明基于频率和权力失衡的网络欺凌定义对人类而言具有可靠的可解释性。
• 相当一部分媒体会话表现出网络攻击行为，但未达到网络欺凌的标准，凸显了区分两者的重要性。
• 网络欺凌检测与总评论数以及一小时内评论的时间聚类之间存在强烈相关性，表明突发性评论模式是关键信号。
• 多模态分类器实现了87%的准确率，相较于基线52%提升了35个百分点，通过线性SVM结合文本、图像和元数据特征实现。
• 加入图像类别和元数据后，准确率从0.71（仅元数据）提升至0.87，表明多模态特征融合对高性能检测至关重要。