[论文解读] Kiki Kills: Identifying Dangerous Challenge Videos from Social Media

Nupur Baghel, Yaman Kumar+4 more|arXiv (Cornell University)|Dec 2, 2018

Sentiment Analysis and Opinion Mining参考文献 3被引用 8

一句话总结

本文提出一种深度学习模型，用于从社交媒体中分类危险与非危险的Kiki挑战视频，使用新发布的2,000个手动标注视频数据集。通过在VGG-16上进行迁移学习训练，该模型在区分涉及道路危险或伤害的高风险视频方面实现了87%的准确率。

ABSTRACT

There has been upsurge in the number of people participating in challenges made popular through social media channels. One of the examples of such a challenge is the Kiki Challenge, in which people step out of their moving cars and dance to the tunes of the song, 'Kiki, Do you love me?'. Such an action makes the people taking the challenge prone to accidents and can also create nuisance for the others traveling on the road. In this work, we introduce the prevalence of such challenges in social media and show how the machine learning community can aid in preventing dangerous situations triggered by them by developing models that can distinguish between dangerous and non-dangerous challenge videos. Towards this objective, we release a new dataset namely MIDAS-KIKI dataset, consisting of manually annotated dangerous and non-dangerous Kiki challenge videos. Further, we train a deep learning model to identify dangerous and non-dangerous videos, and report our results.

研究动机与目标

• 为应对由Kiki挑战等病毒式社交媒体挑战带来的日益增长的公共安全风险，此类挑战涉及在交通中跳舞等危险行为。
• 收集并标注大规模的Kiki挑战视频数据集，以支持机器学习研究，识别危险内容。
• 开发并评估一种深度学习模型，能够以高准确率区分危险与非危险的Kiki挑战视频。
• 通过实现对危险挑战视频的自动化检测，促进公共安全，防止其导致伤害或死亡。
• 公开发布MIDAS-KIKI数据集，以支持未来在识别和减轻病毒式社交媒体挑战风险方面的研究。

提出的方法

• 在2018年6月20日至9月10日期间，使用公开API从Twitter收集25,000条推文，聚焦与Kiki挑战相关的标签。
• 筛选推文，仅保留包含视频的内容，最终获得2,000个用于分析的Kiki挑战视频。
• 采用二元分类任务对视频进行标注：'该视频是否需要警方或救护车介入？'，由两名独立标注员完成。
• 实现了较高的标注者间一致性（Cohen’s Kappa = 0.94），确保危险内容标注的可靠性。
• 使用迁移学习在VGG-16上训练深度学习模型，采用TimeDistributed包装器处理视频输入，随后接全连接层和Dropout层。
• 使用分层抽样将数据集划分为60%训练集、20%验证集和20%测试集，以保持类别平衡。

实验结果

研究问题

• RQ1 Kiki挑战视频中哪些关键视觉和行为线索表明存在高风险的伤害或事故？
• RQ2 在基于视频帧对危险社交媒体挑战视频进行分类时，使用VGG-16的迁移学习效果如何？
• RQ3 机器学习模型在多大程度上能泛化以高精度和高召回率检测危险的Kiki挑战内容？
• RQ4 人类标注者在危险内容上的标注者间一致性如何比较？这对数据集可靠性有何启示？
• RQ5 公开发布的已标注危险挑战视频数据集在多大程度上能支持可扩展的自动化检测系统，以减少现实世界中的伤害？

主要发现

• 所提出的深度学习模型在测试集上对危险与非危险Kiki挑战视频的分类准确率达到87%。
• 该模型表现出优异的精确率（96%）和F1分数（93%），表明其在识别危险视频方面具有高度可靠性。
• 该数据集名为MIDAS-KIKI，包含2,000个手动标注的视频，其中220个被标记为危险，1,780个为非危险。
• 标注者间一致性较高（Cohen’s Kappa = 0.94），证实了标注过程的一致性与可靠性。
• 本研究突显了此类挑战的现实后果，包括在埃及、西班牙和阿联酋等国家报告的受伤、交通阻塞和死亡事件。
• 该数据集和模型已公开发布于http://midas.iiitd.edu.in，以支持自动化检测危险病毒式内容的持续研究。