[論文レビュー] Civique: Using Social Media to Detect Urban Emergencies

Diptesh Kanojia, Vishwajeet Kumar+1 more|arXiv (Cornell University)|Oct 14, 2016

Public Relations and Crisis Communication参考文献 7被引用数 3

ひとこと要約

Civique は、自然言語処理および機械学習を用いて、位置タグ付きの Twitter ポストを分析することで、火災、事故、地震などの都市の緊急事態をリアルタイムで検出するシステムである。90%以上の F スコアでツイートを緊急事態カテゴリに分類し、ウェブおよび Android インターフェースを通じてユーザーと当局に通知しながら、地図上にインcidentsを可視化する。

ABSTRACT

We present the Civique system for emergency detection in urban areas by monitoring micro blogs like Tweets. The system detects emergency related events, and classifies them into appropriate categories like "fire", "accident", "earthquake", etc. We demonstrate our ideas by classifying Twitter posts in real time, visualizing the ongoing event on a map interface and alerting users with options to contact relevant authorities, both online and offline. We evaluate our classifiers for both the steps, i.e., emergency detection and categorization, and obtain F-scores exceeding 70% and 90%, respectively. We demonstrate Civique using a web interface and on an Android application, in realtime, and show its use for both tweet detection and visualization.

研究の動機と目的

• ソーシャルメディア、特に Twitter からのデータを用いて、都市の緊急事態をリアルタイムで検出するシステムを開発し、緊急対応を迅速化すること。
• 自然言語処理および機械学習を用いて、位置タグ付きのツイートを火災、事故、地震などの特定の緊急事態カテゴリに分類すること。
• 検出された緊急事態をインタラクティブな地図上に可視化し、ウェブおよびモバイルインターフェースを通じてユーザーと当局に通知すること。
• ソーシャルメディアからの緊急事態検出における、非公式な言語、誤検出、ユーザーの信頼性といった課題に対処すること。
• ネットワーク障害時における対応継続性を確保するため、市民当局に対してオンラインおよびオフラインの連絡手段を提供すること。

提案手法

• システムは、Twitter Streaming API を用いてリアルタイムの Twitter ストリームを受信し、事前に定義された緊急事態関連キーワードのリストに基づいてツイートをフィルタリングする。
• テキストクリーニングパイプラインにより、ノイズ（例：ハッシュタグ、URL、過剰な標点）を除去し、ルールベースおよび NLP 技術を用いて綴りの誤りやスラングを正規化する。
• 2段階分類モデルを採用する。まず、ツイートが緊急事態関連かどうかを検出し、次に火災、事故、地震などの特定のタイプに分類する。
• 分類には、ユニグラム、ビグラム、トライグラム、品詞タグ、固有表現認識などの特徴工学を適用し、ナイーブベイズおよび SVM モデルを評価する。
• クリーンアップされたツイートから空間的・時間的データ（位置と時刻）を抽出し、Google マップインターフェースに可視化してリアルタイムの状況認識を可能にする。
• ユーザーはウェブおよび Android アプリを通じて通知を受け取り、検出されたイベントタイプに応じてオンライン連絡先およびオフライン番号を含むリンクが埋め込まれた通知が送信される。

実験結果

リサーチクエスチョン

• RQ1 位置タグ付きの Twitter ポストのリアルタイム分析は、火災、事故、地震などの都市の緊急事態を効果的に検出できるか？
• RQ2 2段階の機械学習パイプラインは、緊急事態関連のツイートをどれほど正確に特定のカテゴリに分類できるか？
• RQ3 NLP テクニックは、ソーシャルメディア投稿における非公式な言語、綴りの誤り、スラングをどれほど効果的に処理できるか、信頼性の高い緊急事態検出を実現できるか？
• RQ4 ユーザーおよびコンテンツの検証を通じて、誤検出を低減し、信頼性の高いアラートを確保するという点で、このシステムはどれほど効果的か？
• RQ5 ウェブとモバイルの統合インターフェースは、ユーザーへのタイムリーな通知を可能にするとともに、関連する緊急当局との連絡を促進できるか？

主な発見

• 緊急事態検出分類器は F スコアが 70% を超えた。これは、緊急事態関連ツイートを識別する上で優れた性能を示している。
• カテゴリ分類器は F スコアが 90% を超えた。これは、火災や事故などの特定のタイプに検出された緊急事態を高精度に割り当てる能力を示している。
• システムはリアルタイムの緊急事態イベントを地図インターフェースに可視化し、進行中のインシデントの空間的認識を可能にした。
• ウェブおよび Android アプリを通じて通知が生成され、配信され、関連当局のオンラインおよびオフライン連絡先が含まれたリンクが提供された。
• ワードクラウド分析により、モデルが「火災」、「地震」、「事故」、「対応」などの意味的に関連する緊急事態キーワードに基づいて学習されたことが確認された。
• テキストクリーニングと機械学習の組み合わせにより、非公式な言語の処理が効果的に行われ、ノイズを低減しながら検出精度を損なわずに済ませた。