[论文解读] Investigating Factors Influencing the Latency of Cyberbullying Detection

Rahat Ibn Rafiq, Homa Hosseinmardi+3 more|arXiv (Cornell University)|Nov 16, 2016

Hate Speech and Cyberbullying Detection参考文献 12被引用 5

一句话总结

本文提出了一种可扩展、低延迟的网络欺凌检测系统，用于在线社交网络，采用多阶段架构，包括初始预测器、动态多级优先级调度器和增量分类。在真实Vine数据上的评估显示，该方案将警报响应时间缩短了最多7倍，同时在仅使用极少资源的情况下，高效扩展至100,000个活跃媒体会话，且保持高准确率。

ABSTRACT

Cyberbullying in online social networks has become a critical problem, especially among teenagers who are social networks' prolific users. As a result, researchers have focused on identifying distinguishing features of cyberbullying and developing techniques to automatically detect cyberbullying incidents. While this research has resulted in developing highly accurate classifiers, two key practical issues related to identifying cyberbullying have largely been ignored, namely scalability of cyberbullying detection services and timeliness of raising alerts whenever a cyberbullying incident is suspected. These two issues are the subject of this paper. We propose a multi-stage cyberbullying detection solution that drastically reduces the classification time and the time to raise cyberbullying alerts. The proposed solution is highly scalable, does not sacrifice accuracy for scalability, and is highly responsive in raising alerts. The solution is comprised of three novel components, an initial predictor, a multilevel priority scheduler, and an incremental classification mechanism. We have implemented this solution and utilized data obtained from the Vine online social network to demonstrate the utility of each of these components via a detailed performance evaluation. We show that our complete solution is significantly more scalable and responsive than the current state-of-the-art.

研究动机与目标

• 解决在线社交网络中缺乏可扩展且响应迅速的网络欺凌检测系统的问题。
• 在不牺牲检测准确率的前提下，缩短疑似网络欺凌事件的警报响应时间。
• 设计一种能够高效处理高吞吐量、实时社交媒体数据流的解决方案。
• 通过基于动态置信度分数的优先级排序，优先处理高风险媒体会话，实现早期干预。
• 通过增量特征重用和智能调度，确保计算效率。

提出的方法

• 初始预测器利用最少的会话数据，以高召回率对新媒体会话进行高/低优先级分配。
• 动态多级优先级调度器根据先前预测的置信度调整分类频率，优先处理高风险会话。
• 增量分类机制重用先前的特征计算，以减少后续评估的时间开销。
• 系统以每轮10条评论为处理块，平衡响应速度与计算成本。
• 使用真实世界Vine数据集（包含15亿个每日循环）实现并评估了原型系统。
• 在不同负载下测量资源使用情况，以评估在内存和CPU方面的可扩展性。

实验结果

研究问题

• RQ1 如何使网络欺凌检测系统更具响应性，以减少实时社交媒体环境中的警报延迟？
• RQ2 哪些设计选择能够在保持检测准确率的同时，最大化高吞吐量数据流中的可扩展性？
• RQ3 增量分类在不降低性能的前提下，对减少计算开销有多有效？
• RQ4 与简单轮询调度相比，动态优先级调度在多大程度上提升了系统响应性？
• RQ5 在负载不断增加的情况下，所提出系统的资源效率如何？

主要发现

• 动态优先级调度器将平均警报时间相比简单轮询调度器减少了近6倍。
• 每轮使用10条评论的处理块，相比完整评论处理，响应时间提高了约7倍。
• 系统在仅使用500 MB内存和15.5% CPU利用率的情况下，仍能高效处理100,000个活跃媒体会话并保持高准确率。
• 在512 GB内存下，单个服务器实例可支持高达1.1×10⁸个活跃媒体会话，表明具有强大的横向可扩展性。
• 通过聚焦计算资源于高置信度、高风险会话，该方案实现了早期检测，提升了干预的及时性。
• 增量分类方法通过重用先前的特征计算，显著降低了时间开销。