[論文レビュー] A Deep Multi-View Learning Framework for City Event Extraction from Twitter Data Streams

Nazli Farajidavar, Şefki Kolozali+1 more|arXiv (Cornell University)|May 28, 2017

Complex Network Analysis Techniques参考文献 25被引用数 7

ひとこと要約

本論文は、CNN特徴量とCRF駆動型名前付きエンティティ認識を統合する深層マルチビュー学習フレームワークを提案し、リアルタイムのTwitterストリームからマルチラベル都市イベントを抽出する。モデルはイベントクラス全体で平均81%の正確性を達成し、公式レポートより最大5時間も前もって交通混雑を検出することができ、スマートシティにおけるリアルタイム都市センシングと意思決定支援の可能性を示している。

ABSTRACT

Cities have been a thriving place for citizens over the centuries due to their complex infrastructure. The emergence of the Cyber-Physical-Social Systems (CPSS) and context-aware technologies boost a growing interest in analysing, extracting and eventually understanding city events which subsequently can be utilised to leverage the citizen observations of their cities. In this paper, we investigate the feasibility of using Twitter textual streams for extracting city events. We propose a hierarchical multi-view deep learning approach to contextualise citizen observations of various city systems and services. Our goal has been to build a flexible architecture that can learn representations useful for tasks, thus avoiding excessive task-specific feature engineering. We apply our approach on a real-world dataset consisting of event reports and tweets of over four months from San Francisco Bay Area dataset and additional datasets collected from London. The results of our evaluations show that our proposed solution outperforms the existing models and can be used for extracting city related events with an averaged accuracy of 81% over all classes. To further evaluate the impact of our Twitter event extraction model, we have used two sources of authorised reports through collecting road traffic disruptions data from Transport for London API, and parsing the Time Out London website for sociocultural events. The analysis showed that 49.5% of the Twitter traffic comments are reported approximately five hours prior to the authorities official records. Moreover, we discovered that amongst the scheduled sociocultural event topics; tweets reporting transportation, cultural and social events are 31.75% more likely to influence the distribution of the Twitter comments than sport, weather and crime topics.

研究の動機と目的

• 非公式なTwitterテキストストリームからの都市関連イベントを検出するスケーラブルでリアルタイムなシステムの開発。
• 都市イベント検出における限られたラベル付きデータとノイズが多く、短い形式のソーシャルメディアテキストの課題に対処すること。
• Twitter、交通センサー、イベントカレンダーといった複数のデータソースを統合し、イベント検出の正確性とタイムリネスを向上させること。
• タスク固有の特徴量設計に依存しないように、ディープラーニングによるタスク固有の表現を学習することで、手動による特徴量設計を低減すること。
• Googleマップ、リアルタイム交通レイヤー、60秒の遅延で更新されるリアルタイムツイート表示を備えたインタラクティブなWebインターフェースを通じて、都市イベントのニアリアルタイム可視化を可能にすること。

提案手法

• 畳み込みニューラルネットワーク（CNN）に基づくテキスト表現とCRF駆動型名前付きエンティティ認識（NER）タグを統合する階層的マルチビュー深層学習アーキテクチャを採用する。
• グラフィカルモデルに基づくマルチビュー学習定式化を用い、同じ入力の補完的ビュー（深層ニューラル特徴量と辞書ベースのNER出力）を統合する。
• 複数のビューからの分類結果を後期統合することで、イベントの場所と分類の正確性を向上させる。
• Twitterストリームおよび公式都市データ（例：Transport for London API、Time Out Londonウェブサイト）のリアルタイム取り込みを可能にするデータラッパーを設計する。
• Googleマップ、リアルタイム交通レイヤー、60秒遅延で更新されるリアルタイムツイート表示を備えたWebベースの可視化インターフェースを実装する。
• 60分間の時間窓内で、60秒ごとに分類済みツイートをストリーム処理・更新するCSVベースのデータパイプラインを活用する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の特徴量設計をほとんど行わずに、短く非公式なTwitterテキストからマルチラベル都市イベントを効果的に抽出できるか？
• RQ2 CNN特徴量とCRFベースのNERの統合は、単一ビュー手法と比較して、イベント分類性能をどの程度向上させるか？
• RQ3 Twitterデータは、公式の都市レポートよりも交通混雑や社会文化的イベントの報告をどの程度早く予測できるか？
• RQ4 スケジュールされた社会文化的イベントは、SNS上での市民報告のパターンにどのような影響を及ぼすか？
• RQ5 リアルタイムで相互作用可能なWebインターフェースは、ソーシャルメディアおよびセンサー・データを用いて都市モニタリングを効果的に支援できるか？

主な発見

• 提案されたマルチビュー深層学習モデルは、全イベントクラスで平均F1スコア81%を達成し、単一ビューのベースラインより5%高い性能を示した。
• Transport for Londonの公式記録より約5時間も前もって、49.5%のTwitterによる交通混雑報告が検出された。これは、強力な早期警報可能性を示している。
• 社会的・文化的イベントは市民の報告行動に顕著な影響を与える：交通、文化、社会的イベントに関するツイートは、スポーツ、天候、犯罪のトピックと比較して、交通関連のコメント分布に31.75%高い影響を与えた。
• Twitterデータと公式レポートの統合により、強い時間的相関関係が確認された。これは、ソーシャルメディアを都市モニタリングの補完的データソースとして活用できることを裏付けた。
• Webインターフェースにより、Googleマップ上に60秒未満の遅延でイベントハイライトをニアリアルタイムで可視化でき、一般市民および行政機関の関与を支援した。
• モデルはサンフランシスコ・ベイエリアとグレーター・ロンドンという地理的に異なる都市においても、良好な一般化性能を示し、都市間適用可能性を確認した。