[論文レビュー] Me, Myself and My Killfie: Characterizing and Preventing Selfie Deaths

Hemank Lamba, Varun Bharadhwaj+4 more|arXiv (Cornell University)|Nov 7, 2016

Misinformation and Its Impacts参考文献 14被引用数 7

ひとこと要約

本稿では、テキスト、画像、場所に基づく特徴を用いて危険なセルフィーを検出するマルチモーダルシステムを提案し、実世界のTwitterデータから危険なセルフィーを分類する際、73%の正確性を達成した。深層学習（DenseCap）と地理的位置特定分析を用いて、水、高所、車両関連の危険性の種類を同定し、画像特徴が検出において最も有用であることが判明した。

ABSTRACT

Over the past couple of years, clicking and posting selfies has become a popular trend. However, since March 2014, 127 people have died and many have been injured while trying to click a selfie. Researchers have studied selfies for understanding the psychology of the authors, and understanding its effect on social media platforms. In this work, we perform a comprehensive analysis of the selfie-related casualties and infer various reasons behind these deaths. We use inferences from incidents and from our understanding of the features, we create a system to make people more aware of the dangerous situations in which these selfies are taken. We use a combination of text-based, image-based and location-based features to classify a particular selfie as dangerous or not. Our method ran on 3,155 annotated selfies collected on Twitter gave 73% accuracy. Individually the image-based features were the most informative for the prediction task. The combination of image-based and location-based features resulted in the best accuracy. We have made our code and dataset available at http://labs.precog.iiitd.edu.in/killfie.

研究の動機と目的

• 2014年以降のセルフィー関連の死亡・怪我の原因とパターンを同定し、繰り返し現れる危険要因を特定すること。
• ソーシャルメディアデータを用いて、危険なセルフィーと危険でないセルフィーを区別できる機械学習モデルを開発すること。
• テキスト、画像、場所に基づく特徴を組み合わせることで、高リスクのセルフィー状況を検出する有効性を調査すること。
• 部分的な特徴の欠落（例：地理的位置情報の欠落）が発生する実世界の状況下でも、モデルの性能を評価すること。
• 自動化されたリスク検出により、将来的なセルフィー関連の被害を防ぐための早期警戒システムを可能にすること。

提案手法

• Twitterから収集・アノテートした3,155件の実世界のセルフィーを、水、高所、車両/道路関連の危険性を含む危険タイプごとにラベル付けした。
• ツイートの内容からキーワードや感情分析などのテキスト特徴を抽出し、危険関連の言語を検出した。
• DenseCap（深層学習モデル）を用いて、セルフィー画像から記述的キャプションを生成し、コンテンツに基づく危険性の推定を可能にした。
• 地理タグを用いて場所特徴を抽出し、危険な環境（例：水辺、崖、鉄道線路）に近いかどうかを特定した。
• 異なる特徴の組み合わせ（テキスト、画像、場所）を用いて、マルチモーダル分類器を構築し、各危険タイプごとにテストした。
• 人間によるアノテーションラベルを用いて、3つの特定の危険カテゴリ（水、高所、車両/道路）のバイナリ分類器を訓練・評価した。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディアデータから観察されるセルフィー関連の死亡・怪我の主な原因とパターンは何か？
• RQ2 テキスト、画像、場所に基づく特徴のうち、どの組み合わせが危険なセルフィーを特定するのに最も効果的か？
• RQ3 実世界の展開において、特定の特徴（例：地理的位置情報）が欠落している場合、モデルの性能はどのように変化するか？
• RQ4 特定の危険タイプ（例：水関連）の分類器を訓練することで、一般の危険分類器よりも性能が向上するのか？（ノイズの低減と特徴の整合性向上による）
• RQ5 深層学習に基づく画像キャプション生成（例：DenseCap）は、セルフィーにおける環境的危険要因の検出をどの程度向上させ得るか？

主な発見

• テキスト、画像、場所に基づく特徴を組み合わせた結果、危険なセルフィーの分類において73%の正確性を達成した。
• 画像特徴のみを用いた場合が、全体の分類タスクにおいて最も有用であり、テキストや場所特徴を個別に用いた場合を上回った。
• 画像特徴と場所特徴を組み合わせた場合が最も高い正確性を示し、視覚的および空間的ヒントの強い相乗効果を示した。
• 特定の危険タイプにおいて、水関連のセルフィーは、水のピixeL割合や水辺への近接性といった明確な特徴があるため、最も高い正確性で検出された。
• 特定のリスクタイプ（例：水、高所、車両）に特化して訓練したモデルは、一般の危険分類器を上回った。これは、関係のない危険分布からのノイズが低減され、特徴の整合性が向上したためである。
• 地理的位置情報が欠落している場合でも、システムは効果を保った。これは、不完全なデータが発生する実世界のシナリオにおいても、高い耐障害性を示していることを意味する。