[논문 리뷰] Disturbed YouTube for Kids: Characterizing and Detecting Disturbing Content on YouTube

Kostantinos Papadamou, Antonis Papasavva외 6명|arXiv (Cornell University)|2019. 02. 06.

Hate Speech and Cyberbullying Detection참고 문헌 18인용 수 11

한 줄 요약

이 논문은 82.8%의 정확도로 유튜브에서 유아를 대상으로 하는 부적절한 콘텐츠를 탐지하는 분류기를 제안하며, 광범위한 분석을 통해 널리 퍼져 있는 노출 위험을 드러낸다. 연구는 현재 유튜브의 대응 조치가 적시에 탐지하는 데 효과적이지 않음을 발견했으며, 유아는 유익한 콘텐츠에서 시작하더라도 심각한 영향을 줄 수 있는 영상을 만날 가능성이 높다.

ABSTRACT

A considerable number of the most-subscribed YouTube channels feature content popular among children of very young age. Hundreds of toddler-oriented channels on YouTube offer inoffensive, well produced, and educational videos. Unfortunately, inappropriate (disturbing) content that targets this demographic is also common. YouTube’s algorithmic recommendation system regrettably suggests inappropriate content because some of it mimics or is derived from otherwise appropriate content. Considering the risk for early childhood development, and an increasing trend in toddler’s consumption of YouTube media, this is a worrying problem. While there are many anecdotal reports of the scale of the problem, there is no systematic quantitative measurement. Hence, in this work, we develop a classifier able to detect toddler-oriented inappropriate content on YouTube with 82.8% accuracy, and we leverage it to perform a first-of-its-kind, largescale, quantitative characterization that reveals some of the risks of YouTube media consumption by young children. Our analysis indicates that YouTube’s currently deployed countermeasures are ineffective in terms of detecting disturbing videos in a timely manner. Finally, using our classifier, we assess how prominent the problem is on YouTube, finding that young children are likely to encounter disturbing videos when they randomly browse the platform starting from benign videos.

연구 동기 및 목표

• 유튜브에서 유아를 대상으로 하는 불쾌한 콘텐츠의 보편성을 체계적으로 측정하는 것.
• 유아 미디어 소비에서의 비적절한 콘텐츠에 관한 대규모 실증 데이터의 부족을 보완하는 것.
• 유튜브의 기존 콘텐츠 모니터링 시스템이 이러한 콘텐츠를 탐지하는 데 얼마나 효과적인지 평가하는 것.
• 높은 정확도로 유아를 대상으로 하는 불쾌한 영상을 식별할 수 있는 기계학습 분류기의 개발 및 검증

제안 방법

• 유아를 대상으로 하는 영상에서 불쾌한 콘텐츠를 탐지하기 위해 지도 학습 기반의 기계학습 분류기를 훈련시킨다.
• 텍스트, 시각, 청각 특징를 유튜브 영상에서 추출하여 비적절한 콘텐츠를 식별한다.
• 분류기의 훈련 및 평가를 위해 유아 중심의 영상 대규모 데이터셋을 수집하고 주석을 붙인다.
• 모델은 인간 주석 기반 테스트 세트를 통해 검증된 결과 82.8%의 정확도를 달성한다.
• 노출 위험을 평가하기 위해 유튜브 추천 시스템에 대한 대규모 분석에 분류기를 적용한다.
• 연구는 분류기를 활용해 유튜브의 현재 콘텐츠 모니터링 메커니즘의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 유아 중심의 유튜브 영상에서 불쾌한 콘텐츠는 얼마나 보편적인가, 그리고 추천을 통해 어떻게 퍼져나가는가?
• RQ2 유튜브의 현재 자동 및 수동 콘텐츠 모니터링 시스템이 이러한 콘텐츠를 탐지하는 데 얼마나 효과적인가?
• RQ3 유아가 보기에 적절하고 안전한 콘텐츠에서 시작할 때 불쾌한 영상에 노출될 가능성이 얼마나 높은가?
• RQ4 어린이 미디어 맥락에서 불쾌한 콘텐츠와 적절한 콘텐츠를 구분하는 특성은 무엇인가?

주요 결과

• 분류기는 유튜브에서 유아를 대상으로 하는 비적절한 콘텐츠 탐지에 82.8%의 정확도를 기록한다.
• 유튜브의 현재 대응 조치는 불쾌한 영상의 적시 탐지에 효과적이지 않다.
• 유아는 유익하고 교육적인 콘텐츠에서 시작하더라도 여전히 불쾌한 영상에 노출될 가능성이 높다.
• 불쾌한 콘텐츠는 종종 정당한 어린이 콘텐츠를 모방하거나 이를 차용하여 탐지 회피를 시도한다.
• 추천 시스템은 자주 불쾌한 콘텐츠를 홍보하여 어린 시청자의 노출 위험을 증가시킨다.
• 어린이 미디어에서 불쾌한 콘텐츠에 대한 체계적이고 대규모의 측정이 크게 부족한데, 이 연구는 이를 일부 해결하고자 한다.