[论文解读] Me, Myself and My Killfie: Characterizing and Preventing Selfie Deaths

Hemank Lamba, Varun Bharadhwaj+4 more|arXiv (Cornell University)|Nov 7, 2016

Misinformation and Its Impacts参考文献 14被引用 7

一句话总结

本文提出了一种多模态系统，利用文本、图像和基于位置的特征检测危险自拍，从真实世界Twitter数据中对危险自拍的分类准确率达到73%。该系统通过深度学习（DenseCap）和地理定位分析识别出关键危险类型——水体、高处及与车辆相关的风险，其中基于图像的特征在检测中最为关键。

ABSTRACT

Over the past couple of years, clicking and posting selfies has become a popular trend. However, since March 2014, 127 people have died and many have been injured while trying to click a selfie. Researchers have studied selfies for understanding the psychology of the authors, and understanding its effect on social media platforms. In this work, we perform a comprehensive analysis of the selfie-related casualties and infer various reasons behind these deaths. We use inferences from incidents and from our understanding of the features, we create a system to make people more aware of the dangerous situations in which these selfies are taken. We use a combination of text-based, image-based and location-based features to classify a particular selfie as dangerous or not. Our method ran on 3,155 annotated selfies collected on Twitter gave 73% accuracy. Individually the image-based features were the most informative for the prediction task. The combination of image-based and location-based features resulted in the best accuracy. We have made our code and dataset available at http://labs.precog.iiitd.edu.in/killfie.

研究动机与目标

• 描述自2014年以来自拍相关死亡和受伤事件的原因与模式，识别反复出现的风险因素。
• 开发一种机器学习模型，能够利用社交媒体数据区分危险自拍与非危险自拍。
• 研究结合文本、图像和基于位置的特征在检测高风险自拍场景中的有效性。
• 在现实条件下评估模型性能，包括部分特征缺失（如缺少地理定位）的情况。
• 通过自动风险检测，实现早期预警系统，以防止未来自拍相关伤亡事件。

提出的方法

• 从Twitter收集并标注了3,155张真实世界的自拍，按危险类型（包括水体、高处及车辆/道路风险）进行分类。
• 从推文内容中提取基于文本的特征，如关键词和情感分析，以检测与风险相关的语言。
• 使用DenseCap（一种深度学习模型）从自拍图像生成描述性标题，实现基于内容的风险推断。
• 利用地理标签提取基于位置的特征，以确定与危险环境（如水体、悬崖、铁路轨道）的接近程度。
• 将各类特征整合为多模态分类器，测试不同特征组合（文本、图像、位置）在每类危险类型中的表现。
• 针对三种特定危险类别（水体、高处、车辆/道路）训练并评估二元分类器，使用人工标注标签。

实验结果

研究问题

• RQ1 在社交媒体数据中观察到的自拍相关死亡和受伤事件的主要原因与模式是什么？
• RQ2 文本、图像和基于位置的特征中，哪种组合在识别危险自拍方面最有效？
• RQ3 在实际部署中，当某些特征（如地理定位）缺失时，模型性能如何变化？
• RQ4 针对特定危险类型（如与水相关的风险）训练的分类器是否能优于通用危险分类器，因其减少了无关风险分布的噪声并实现了更好的特征对齐？
• RQ5 基于深度学习的图像字幕生成（如DenseCap）在自拍中识别环境风险方面能提升多少效果？

主要发现

• 该系统通过结合文本、图像和基于位置的特征，对危险自拍的分类准确率达到73%。
• 仅基于图像的特征在整体分类任务中最为关键，优于单独使用文本或位置特征。
• 图像特征与位置特征的结合实现了最高准确率，表明视觉与空间线索之间存在显著协同效应。
• 在特定危险类型中，与水相关的自拍检测准确率最高，原因在于水体像素比例和靠近水体等明确特征。
• 针对特定风险类型（如水体、高处、车辆）训练的模型优于通用危险分类器，因其减少了来自无关风险分布的噪声。
• 即使在缺少地理定位数据的情况下，系统仍保持有效性，表明其在存在不完整数据的现实场景中具备强大鲁棒性。