[論文レビュー] Kiki Kills: Identifying Dangerous Challenge Videos from Social Media

Nupur Baghel, Yaman Kumar+4 more|arXiv (Cornell University)|Dec 2, 2018

Sentiment Analysis and Opinion Mining参考文献 3被引用数 8

ひとこと要約

本論文では、新たに公開された2,000本の手動アノテート済み動画を用いて、ソーシャルメディア上の危険なKikiチャレンジ動画と危険でない動画を分類するためのディーブラーニングモデルを提案する。VGG-16を用いたトランスファーラーニングで訓練されたモデルは、道路の危険要因や怪我を伴う高リスク動画を識別する際、87％の精度を達成した。

ABSTRACT

There has been upsurge in the number of people participating in challenges made popular through social media channels. One of the examples of such a challenge is the Kiki Challenge, in which people step out of their moving cars and dance to the tunes of the song, 'Kiki, Do you love me?'. Such an action makes the people taking the challenge prone to accidents and can also create nuisance for the others traveling on the road. In this work, we introduce the prevalence of such challenges in social media and show how the machine learning community can aid in preventing dangerous situations triggered by them by developing models that can distinguish between dangerous and non-dangerous challenge videos. Towards this objective, we release a new dataset namely MIDAS-KIKI dataset, consisting of manually annotated dangerous and non-dangerous Kiki challenge videos. Further, we train a deep learning model to identify dangerous and non-dangerous videos, and report our results.

研究の動機と目的

• TikTokやKikiチャレンジのような、交通渋滞や怪我を伴う危険な行動を含む、ソーシャルメディアで広がるチャレンジの増加に伴う公共の安全リスクに対処すること。
• 機械学習研究を可能にするために、Kikiチャレンジ動画の大規模なデータセットを収集・アノテートすること。
• 危険な動画と危険でない動画を高精度で区別できるディーブラーニングモデルを開発・評価すること。
• 怪我や死亡事故を防ぐために、危険なチャレンジ動画の自動検出を可能にすることで、公共の安全を促進すること。
• 今後の研究を支援するため、MIDAS-KIKIデータセットを公開すること。

提案手法

• 2018年6月20日から9月10日まで、Kikiチャレンジ関連のハッシュタグを対象に、Twitterの公開APIを用いて25,000件のツイートを収集した。
• 動画を含むツイートに絞り込み、分析対象として2,000本のKikiチャレンジ動画を抽出した。
• 二段階の分類タスク（「この動画は警察や救急車の対応を要するか？」）を用い、二名の独立したアノテーターが動画をアノテートした。
• 高い相互アノテーター整合性（Cohen’s Kappa = 0.94）を達成し、危険なコンテンツのラベル付けの信頼性を確認した。
• VGG-16を用いたトランスファーラーニングでモデルを訓練し、動画入力用にTimeDistributedラッパーを適用した後、全結合層とドロップアウト層を追加した。
• クラスのバランスを保つために、ストラティファイドサンプリングを用いてデータセットを60％訓練、20％検証、20％テストに分割した。

実験結果

リサーチクエスチョン

• RQ1 Kikiチャレンジ動画に見られる、怪我や事故のリスクを示す主な視覚的・行動的兆候は何か？
• RQ2 VGG-16を用いたトランスファーラーニングは、動画フレームに基づいて危険なソーシャルメディア・チャレンジ動画を分類する際にどの程度有効か？
• RQ3 機械学習モデルは、高い精度と再現率で危険なKikiチャレンジコンテンツを一般化して検出できるか？
• RQ4 人間のラベラー間での危険なコンテンツに関する相互アノテーター整合性はどの程度か？これはデータセットの信頼性にどのような含みを持つのか？
• RQ5 アノテート済みの危険なチャレンジ動画の公開データセットは、スケーラブルな自動検出システムの構築を可能にし、実世界の被害を低減できるか？

主な発見

• 提案されたディーブラーニングモデルは、テストセットにおいて危険なKikiチャレンジ動画と危険でない動画を分類する際、87％の精度を達成した。
• モデルは高い適合率（96％）とF1スコア（93％）を示し、危険な動画を識別する際の信頼性が高かった。
• MIDAS-KIKIと名付けられたデータセットには、2,000本の手動アノテート済み動画が含まれており、そのうち220本が危険とラベル付けされ、1,780本が非危険とラベル付けされた。
• 相互アノテーター整合性は高く（Cohen’s Kappa = 0.94）、ラベル付けプロセスの一貫性と信頼性が確認された。
• 本研究では、エジプト、スペイン、UAEを含む国々で報告された怪我、交通渋滞、死亡事故など、こうしたチャレンジの現実の影響が強調された。
• データセットとモデルは、http://midas.iiitd.edu.in にて公開され、危険なバズ動画の自動検出に関する今後の研究を支援する。