[論文レビュー] A deep learning approach for detecting traffic accidents from social media data

Zhenhua Zhang, Qing Heb+2 more|arXiv (Cornell University)|Jan 4, 2018

Traffic Prediction and Management Techniques被引用数 25

ひとこと要約

本論文では、ペアドトークンと2つのモデル（ディープベルーフネットワーク（DBN）および長短期記憶（LSTM））を活用したディープラーニングフレームワークを提案し、ソーシャルメディアデータから交通バンパーを検出する。ニューヨーク市およびノーザンバージニアの300万件を超えるツイートを用いて、DBNは44個の個別トークンおよび17個のペアドトークン特徴量を用いて85％の正確性を達成し、SVMおよびsLDAを上回り、66％の事故関連ツイートが公式の交通ログと一致した。

ABSTRACT

This paper employs deep learning in detecting the traffic accident from social media data. First, we thoroughly investigate the 1-year over 3 million tweet contents in two metropolitan areas: Northern Virginia and New York City. Our results show that paired tokens can capture the association rules inherent in the accident-related tweets and further increase the accuracy of the traffic accident detection. Second, two deep learning methods: Deep Belief Network (DBN) and Long Short-Term Memory (LSTM) are investigated and implemented on the extracted token. Results show that DBN can obtain an overall accuracy of 85% with about 44 individual token features and 17 paired token features. The classification results from DBN outperform those of Support Vector Machines (SVMs) and supervised Latent Dirichlet allocation (sLDA). Finally, to validate this study, we compare the accident-related tweets with both the traffic accident log on freeways and traffic data on local roads from 15,000 loop detectors. It is found that nearly 66% of the accident-related tweets can be located by the accident log and more than 80% of them can be tied to nearby abnormal traffic data. Several important issues of using Twitter to detect traffic accidents have been brought up by the comparison including the location and time bias, as well as the characteristics of influential users and hashtags.

研究の動機と目的

• リアルタイムのソーシャルメディアコンテンツを用いた、スケーラブルでデータ駆動型の交通バンパー検出手法の開発。
• 事故関連ツイートにおける意味的および文脈的関連性を捉えるためにペアドトークンの有効性の調査。
• 従来の手法（SVM、sLDA）と比較して、ディープラーニングモデル（DBN、LSTM）がソーシャルメディアからの交通バンパー報告を分類する際の性能評価。
• 実世界の正確性を検証するため、モデルの予測を公式の交通バンパー記録およびループ検出器データと照合。
• ソーシャルメディアベースのバンパー検出に影響を及ぼす主なバイアスおよびユーザー行動パターン（場所、時間、影響力のあるユーザーなど）の特定。

提案手法

• 1年間にわたり、ニューヨーク市およびノーザンバージニアから300万件を超えるツイートを収集・処理した。
• 事故関連の意味的関係および文脈的関連性に関連する個別およびペアドトークンをツイートから抽出した。
• 抽出されたトークン特徴量を用いて、ツイートを事故関連またはそれ以外に分類するため、ディープベルーフネットワーク（DBN）を訓練した。
• 同じ特徴セットを用いて、DBNの性能をサポートベクターマシン（SVM）および教師ありラティントディリクレ分配（sLDA）と比較した。
• ツイートテキスト内の順序的パターンをモデル化し、時間的文脈認識を実現するために、長短期記憶（LSTM）ネットワークを適用した。
• モデルの予測を、公式の交通バンパー記録および1万5000台のループ検出器データと空間的・時間的整合性をもって照合した。

実験結果

リサーチクエスチョン

• RQ1 ペアドトークンは、個別トークンと比較して、ソーシャルメディアデータにおける交通バンパー検出の正確性を向上させることができるか？
• RQ2 DBNおよびLSTMのようなディープラーニングモデルは、従来の機械学習モデル（SVM、sLDA）と比較して、事故関連ツイートの分類においてどのように性能を発揮するか？
• RQ3 ソーシャルメディアからの事故関連ツイートは、どの程度公式の交通インシデント記録およびリアルタイム交通データと一致するか？
• RQ4 ソーシャルメディアベースのバンパー検出における支配的なバイアスは何か、特に場所、時間、ユーザーの影響力に関して。
• RQ5 ハッシュタグおよび影響力のあるユーザーは、ソーシャルメディア上の事故報告の可視性および信頼性にどのように影響を与えるか？

主な発見

• DBNモデルは、44個の個別トークン特徴量および17個のペアドトークン特徴量を用いて、全体の分類正確性が85％に達した。
• DBNは、SVMおよびsLDAを上回り、ソーシャルメディアデータからの交通バンパー検出において、優れた特徴表現能力を示した。
• モデルが特定した事故関連ツイートの約66％が、公式の交通バンパー記録と正常に一致した。
• 80％を超える事故関連ツイートが、近隣のループ検出器によって検出された異常な交通パターンと関連していた。
• ソーシャルメディアでの報告には、場所および時間に関する顕著なバイアスが確認され、特にピーク時間帯および都市部で事故関連コンテンツの発信量が高かった。
• 影響力のあるユーザーおよびトレンドハッシュタグは、事故報告の拡散に顕著な役割を果たしたが、同時にノイズの発生や過剰表現の可能性をもたらした。