[논문 리뷰] A deep learning approach for detecting traffic accidents from social media data

Zhenhua Zhang, Qing Heb외 2명|arXiv (Cornell University)|2018. 01. 04.

Traffic Prediction and Management Techniques인용 수 25

한 줄 요약

이 논문은 소셜 미디어 데이터에서 교통 사고를 탐지하기 위해 쌍체의 토큰과 두 모델—딥 벨리프 네트워크(DBN) 및 롱 쇼트텀 메모리(LSTM)—를 활용하는 딥 러닝 프레임워크를 제안한다. 뉴욕 시티와 노스버지니아에서 수집한 300만 건 이상의 트윗을 바탕으로, DBN는 44개의 개별 토큰 및 17개의 쌍체 토큰 특징을 사용해 85%의 정확도를 기록했으며, SVM 및 sLDA를 능가했고, 사고 관련 트윗의 66%가 공식 교통 로그와 일치했다.

ABSTRACT

This paper employs deep learning in detecting the traffic accident from social media data. First, we thoroughly investigate the 1-year over 3 million tweet contents in two metropolitan areas: Northern Virginia and New York City. Our results show that paired tokens can capture the association rules inherent in the accident-related tweets and further increase the accuracy of the traffic accident detection. Second, two deep learning methods: Deep Belief Network (DBN) and Long Short-Term Memory (LSTM) are investigated and implemented on the extracted token. Results show that DBN can obtain an overall accuracy of 85% with about 44 individual token features and 17 paired token features. The classification results from DBN outperform those of Support Vector Machines (SVMs) and supervised Latent Dirichlet allocation (sLDA). Finally, to validate this study, we compare the accident-related tweets with both the traffic accident log on freeways and traffic data on local roads from 15,000 loop detectors. It is found that nearly 66% of the accident-related tweets can be located by the accident log and more than 80% of them can be tied to nearby abnormal traffic data. Several important issues of using Twitter to detect traffic accidents have been brought up by the comparison including the location and time bias, as well as the characteristics of influential users and hashtags.

연구 동기 및 목표

• 실시간 소셜 미디어 콘텐츠를 활용해 확장 가능하고 데이터 기반의 교통 사고 탐지 방법을 개발하기 위해.
• 사고 관련 트윗에서 의미적 및 맥락적 연관성을 포착하는 데에 쌍체 토큰의 효과를 조사하기 위해.
• 기존 방법(예: SVM, sLDA)과 비교해 딥 러닝 모델(DBN, LSTM)이 소셜 미디어에서의 교통 사고 보고를 분류하는 데 얼마나 효과적인지 비교하기 위해.
• 모델 예측 결과를 실제 정확도를 확보하기 위해 공식 교통 사고 로그 및 루프 디텍터 데이터와 공간적·시간적 일치로 검증하기 위해.
• 소셜 미디어 기반 사고 탐지에 영향을 주는 주요 편향 및 사용자 행동 패턴(예: 위치, 시간, 영향력 있는 사용자)을 특정하기 위해.

제안 방법

• 1년 간 뉴욕 시티와 노스버지니아에서 수집한 300만 건 이상의 트윗을 수집하고 처리했다.
• 사고와 관련된 의미적 관계와 맥락적 연관성을 모델링하기 위해 트윗에서 개별 및 쌍체 토큰을 추출했다.
• 추출된 토큰 특징을 기반으로 딥 벨리프 네트워크(DBN)를 훈련시켜 트윗을 사고 관련 여부로 분류했다.
• 동일한 특징 세트를 사용해 DBN의 성능을 서포트 벡터 머신(SVM) 및 지도형 라틴 디리슈트 분포(sLDA)와 비교했다.
• 시계열 패턴을 모델링하기 위해 트윗 텍스트의 순차적 패턴을 고려한 롱 쇼트텀 메모리(LSTM) 네트워크를 적용했다.
• 공식 교통 사고 로그 및 15,000개의 루프 디텍터 데이터와의 공간적·시간적 일치를 통해 모델 예측을 검증했다.

실험 결과

연구 질문

• RQ1 쌍체 토큰은 개별 토큰에 비해 소셜 미디어 데이터에서 교통 사고 탐지 정확도를 향상시키는가?
• RQ2 DBN 및 LSTM과 같은 딥 러닝 모델은 기존 머신 러닝 모델(SVM, sLDA)에 비해 사고 관련 트윗 분류에 얼마나 효과적인가?
• RQ3 소셜 미디어에서의 사고 관련 트윗은 공식 교통 사고 로그 및 실시간 교통 데이터와 어느 정도 일치하는가?
• RQ4 소셜 미디어 기반 사고 탐지에서 주로 나타나는 편향은 무엇이며, 특히 위치, 시간, 사용자 영향력 측면에서 어떻게 나타나는가?
• RQ5 해시태그와 영향력 있는 사용자는 소셜 미디어에서 사고 보고의 가시성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• DBN 모델은 44개의 개별 토큰 특징과 17개의 쌍체 토큰 특징을 사용해 총 분류 정확도 85%를 기록했다.
• DBN은 소셜 미디어 데이터에서 교통 사고를 탐지하는 데 있어 SVM 및 sLDA를 모두 능가했으며, 우수한 특징 표현 능력을 입증했다.
• 모델이 식별한 사고 관련 트윗 중 약 66%가 공식 교통 사고 로그와 성공적으로 매칭되었다.
• 사고 관련 트윗의 80% 이상이 인근 루프 디텍터에 의해 이상 교통 패턴으로 감지되었다.
• 소셜 미디어 보고에서 위치 및 시간 편향이 뚜렷하게 드러났으며, 피크 시간대와 도심 지역에서 사고 관련 콘텐츠의 비중이 높았다.
• 영향력 있는 사용자와 유행하는 해시태그가 사고 보고의 확산에 중요한 역할을 했지만, 동시에 노이즈와 잠재적 과대 표현을 유발하기도 했다.