[논문 리뷰] Kiki Kills: Identifying Dangerous Challenge Videos from Social Media

Nupur Baghel, Yaman Kumar외 4명|arXiv (Cornell University)|2018. 12. 02.

Sentiment Analysis and Opinion Mining참고 문헌 3인용 수 8

한 줄 요약

이 논문은 사회 미디어에서 위험한 Kiki 챌린지 영상과 위험하지 않은 영상을 분류하기 위한 딥러닝 모델을 제안한다. 새로 공개된 2,000개의 수동으로 주석 처리된 영상 데이터셋을 사용하며, VGG-16 기반 전이학습으로 훈련된 모델은 도로 위의 위험 요소나 부상이 포함된 고위험 영상 식별에 87%의 정확도를 달성한다.

ABSTRACT

There has been upsurge in the number of people participating in challenges made popular through social media channels. One of the examples of such a challenge is the Kiki Challenge, in which people step out of their moving cars and dance to the tunes of the song, 'Kiki, Do you love me?'. Such an action makes the people taking the challenge prone to accidents and can also create nuisance for the others traveling on the road. In this work, we introduce the prevalence of such challenges in social media and show how the machine learning community can aid in preventing dangerous situations triggered by them by developing models that can distinguish between dangerous and non-dangerous challenge videos. Towards this objective, we release a new dataset namely MIDAS-KIKI dataset, consisting of manually annotated dangerous and non-dangerous Kiki challenge videos. Further, we train a deep learning model to identify dangerous and non-dangerous videos, and report our results.

연구 동기 및 목표

• Kiki 챌린지와 같은 바이러스성 소셜 미디어 챌린지로 인한 증가하는 공중보건 위험을 해결하기 위해, 도로에서 춤을 추는 등의 위험한 행동을 포함하는 챌린지의 위험성을 줄이기 위한 것이다.
• 기계 학습 연구를 위해 위험한 콘텐츠 식별을 가능하게 하기 위해 대규모 Kiki 챌린지 영상 데이터셋을 수집하고 주석 처리하기 위한 것이다.
• 높은 정확도로 위험한 영상과 위험하지 않은 영상 간을 구분할 수 있는 딥러닝 모델을 개발하고 평가하기 위한 것이다.
• 부상이나 사망 사고가 발생하기 전에 위험한 챌린지 영상의 자동 탐지를 가능하게 하여 공중보건을 증진하기 위한 것이다.
• 향후 연구를 지원하기 위해 MIDAS-KIKI 데이터셋을 공개하기 위한 것이다.

제안 방법

• 2018년 6월 20일부터 9월 10일까지 테터를 사용해 Kiki 챌린지와 관련된 해시태그를 중심으로 25,000개의 트윗을 수집했다.
• 영상이 포함된 트윗만 유지하여 분석 대상으로 2,000개의 Kiki 챌린지 영상을 확보했다.
• 이중 분류 작업을 통해 주석 처리를 수행했으며, '이 영상은 경찰 또는 구급차의 도움이 필요한가?'를 기준으로 두 명의 독립된 주석자들이 평가했다.
• 높은 상호 주석자 간 일致도(Cohen’s Kappa = 0.94)를 확보하여 위험 콘텐츠 주석의 신뢰성을 입증했다.
• 비디오 입력을 위해 TimeDistributed 래퍼를 사용한 VGG-16 기반 전이학습을 통해 딥러닝 모델을 훈련시켰으며, 이후 완전 연결층과 드롭아웃 층을 적용했다.
• 클래스 균형을 유지하기 위해 분류 샘플링을 사용해 데이터셋을 60% 훈련, 20% 검증, 20% 테스트로 분할했다.

실험 결과

연구 질문

• RQ1 Kiki 챌린지 영상에서 부상이나 사고 위험이 높다는 것을 나타내는 주요 시각적 및 행동적 단서는 무엇인가?
• RQ2 VGG-16 기반 전이학습이 영상 프레임을 기반으로 해서 위험한 소셜 미디어 챌린지 영상 분류에 얼마나 효과적인가?
• RQ3 기계 학습 모델이 높은 정밀도와 재현율로 위험한 Kiki 챌린지 콘텐츠를 일반화하여 탐지할 수 있는 정도는 어느 정도인가?
• RQ4 인간 평가자 간에 위험 콘텐츠에 대한 상호 주석자 간 일치도는 어떻게 평가되며, 이는 데이터셋 신뢰성에 어떤 함의를 갖는가?
• RQ5 주석 처리된 위험 콘텐츠 영상의 공개 데이터셋이 실질적인 피해를 줄이기 위한 확장 가능한 자동 탐지 시스템 개발에 기여할 수 있는가?

주요 결과

• 제안된 딥러닝 모델은 테스트 세트에서 위험한 Kiki 챌린지 영상와 위험하지 않은 영상 간 분류에 87%의 정확도를 달성했다.
• 모델은 높은 정밀도(96%)와 F1 점수(93%)를 보이며, 위험한 영상 식별에 있어 높은 신뢰성을 입증했다.
• 이름이 MIDAS-KIKI인 데이터셋은 수동으로 주석 처리된 2,000개의 영상 포함하며, 이 중 220개는 위험, 1,780개는 비위험으로 레이블링되었다.
• 상호 주석자 간 일치도가 높았으며(Cohen’s Kappa = 0.94), 주석 처리 과정의 일관성과 신뢰성을 확인했다.
• 본 연구는 이러한 챌린지의 실제 세계적 영향을 강조하며, 이집트, 스페인, 아랍에미리트 등 여러 국가에서 보고된 부상, 도로 폐쇄, 사망 사례를 언급했다.
• 데이터셋과 모델은 http://midas.iiitd.edu.in 에 공개되어 있으며, 바이러스성 콘텐츠의 자동 탐지 분야의 지속적 연구를 지원한다.