[论文解读] Disturbed YouTube for Kids: Characterizing and Detecting Disturbing Content on YouTube

Kostantinos Papadamou, Antonis Papasavva+6 more|arXiv (Cornell University)|Feb 6, 2019

Hate Speech and Cyberbullying Detection参考文献 18被引用 11

一句话总结

本文提出了一种分类器，可以以82.8%的准确率检测YouTube上针对幼儿的不当内容，通过大规模分析揭示了广泛存在的暴露风险。研究发现，YouTube当前的防护措施在及时检测方面效果不佳，即使从良性内容开始，幼儿也很可能遇到令人不安的视频。

ABSTRACT

A considerable number of the most-subscribed YouTube channels feature content popular among children of very young age. Hundreds of toddler-oriented channels on YouTube offer inoffensive, well produced, and educational videos. Unfortunately, inappropriate (disturbing) content that targets this demographic is also common. YouTube’s algorithmic recommendation system regrettably suggests inappropriate content because some of it mimics or is derived from otherwise appropriate content. Considering the risk for early childhood development, and an increasing trend in toddler’s consumption of YouTube media, this is a worrying problem. While there are many anecdotal reports of the scale of the problem, there is no systematic quantitative measurement. Hence, in this work, we develop a classifier able to detect toddler-oriented inappropriate content on YouTube with 82.8% accuracy, and we leverage it to perform a first-of-its-kind, largescale, quantitative characterization that reveals some of the risks of YouTube media consumption by young children. Our analysis indicates that YouTube’s currently deployed countermeasures are ineffective in terms of detecting disturbing videos in a timely manner. Finally, using our classifier, we assess how prominent the problem is on YouTube, finding that young children are likely to encounter disturbing videos when they randomly browse the platform starting from benign videos.

研究动机与目标

• 系统量化YouTube上针对幼儿的令人不安内容的普遍程度。
• 解决儿童媒体消费中不当内容缺乏大规模实证数据的问题。
• 评估YouTube现有内容审核系统在检测此类内容方面的有效性。
• 开发并验证一种机器学习分类器，能够以高准确率识别针对幼儿的令人不安视频。

提出的方法

• 训练一种监督式机器学习分类器，用于检测面向幼儿的视频中的令人不安内容。
• 该分类器利用从YouTube视频中提取的文本、视觉和音频特征，识别不当内容。
• 收集并标注了一个大规模的面向幼儿的视频数据集，用于训练和评估分类器。
• 该模型在检测令人不安内容方面实现了82.8%的准确率，经由人工标注的测试集验证。
• 将分类器应用于YouTube推荐系统的规模化分析，以评估暴露风险。
• 本研究利用分类器评估YouTube当前内容审核机制的性能。

实验结果

研究问题

• RQ1 在面向幼儿的YouTube视频中，令人不安的内容有多普遍，它如何通过推荐机制传播？
• RQ2 YouTube当前的自动化和人工内容审核系统在检测此类内容方面有多大的有效性？
• RQ3 当幼儿从看似合适、无害的内容开始观看时，他们有多大可能接触到令人不安的视频？
• RQ4 在儿童媒体的语境下，令人不安的内容与合适内容有何特征区别？

主要发现

• 该分类器在检测YouTube上针对幼儿的不当内容方面达到了82.8%的准确率。
• YouTube当前的防护措施在及时检测令人不安视频方面效果不佳。
• 即使从良性、教育性的视频开始，幼儿也很可能接触到令人不安的内容。
• 令人不安的内容经常模仿或源自合法的儿童内容，从而能够规避检测。
• 推荐系统经常推广令人不安的内容，增加了年轻观众的暴露风险。
• 在儿童媒体中，令人不安内容的系统性、大规模测量存在显著缺口，本研究开始填补这一空白。