[논문 리뷰] Emergency Incident Detection from Crowdsourced Waze Data using Bayesian Information Fusion

Yasas Senarath, Saideep Nannapaneni외 2명|arXiv (Cornell University)|2020. 11. 10.

Data-Driven Disease Surveillance참고 문헌 12인용 수 15

한 줄 요약

이 논문은 시간과 공간적 불확실성 및 보고자 신뢰도를 모델링하여 노이즈가 많은 커뮤니티 기반 Waze 데이터에서 비상 사고를 탐지하기 위한 베이지안 정보 융합 프레임워크를 제안한다. 이 방법은 기준선 대비 F1 점수에서 5% 이상의 상대적 향상을 달성했으며, 공식 기록보다 평균 5.92분 일찍 사고를 탐지할 수 있다.

ABSTRACT

The number of emergencies have increased over the years with the growth in urbanization. This pattern has overwhelmed the emergency services with limited resources and demands the optimization of response processes. It is partly due to traditional `reactive' approach of emergency services to collect data about incidents, where a source initiates a call to the emergency number (e.g., 911 in U.S.), delaying and limiting the potentially optimal response. Crowdsourcing platforms such as Waze provides an opportunity to develop a rapid, `proactive' approach to collect data about incidents through crowd-generated observational reports. However, the reliability of reporting sources and spatio-temporal uncertainty of the reported incidents challenge the design of such a proactive approach. Thus, this paper presents a novel method for emergency incident detection using noisy crowdsourced Waze data. We propose a principled computational framework based on Bayesian theory to model the uncertainty in the reliability of crowd-generated reports and their integration across space and time to detect incidents. Extensive experiments using data collected from Waze and the official reported incidents in Nashville, Tenessee in the U.S. show our method can outperform strong baselines for both F1-score and AUC. The application of this work provides an extensible framework to incorporate different noisy data sources for proactive incident detection to improve and optimize emergency response operations in our communities.

연구 동기 및 목표

• Waze에서 온 신뢰도가 떨어지고 불확실한 커뮤니티 기반 사고 보고를 다루어 사전 대응이 가능한 비상 대응 체계를 마련한다.
• 지연된 911 신고에 의존하는 전통적인 반응형 비상 대응 시스템의 한계를 극복한다.
• 시간과 공간에 걸쳐 노이즈가 많고 시간·위치 불확실성이 있는 보고를 체계적으로 융합할 수 있는 원리적인 방법을 개발한다.
• 공식 E-TRIMS 기록과 비교해 실시간 Waze 데이터를 활용해 사고를 조기에 탐지함으로써 성능을 향상시킨다.
• 베이지안 확률 갱신을 통해 사고 예측에 대한 정량적 신뢰도 측정치를 제공한다.

제안 방법

• Waze 보고를 노이즈가 있는 센서 읽기로 모델링하고, 시간에 따라 사고 확률을 추정하기 위해 베이지안 추론을 적용한다.
• 공간적·시간적 윈도우 내에서 보고를 집계하기 위해 스파티오테미포럴 격자 기반 접근법을 사용한다.
• 보고자 신뢰도를 베이지안 프레임워크 내에서 학습 가능한 파라미터로 통합하여 보고를 동적으로 가중치를 부여한다.
• 신규 보고가 도착함에 따라 순차적 베이지안 갱신을 적용하여 사고 확률을 정밀하게 개선한다.
• F1 점수를 최대화하기 위해 그리드 서치를 통해 초모수(예: 25분 시간 윈도우, 100m 공간 해상도)를 최적화한다.
• 보고 밀도와 신뢰도를 기반으로 사고 발생 가능성을 모델링하기 위해 베이지안 프레임워크 내에서 로지스틱 회귀를 사용한다.

Figure 2: Similar hourly trend of Waze reporting and accident records in the official E-TRIMS system.

실험 결과

연구 질문

• RQ1 노이즈가 많은 Waze 데이터를 활용해 공식 보고 시스템보다 조기에 사고를 탐지하는 데 베이지안 정보 융합이 효과적으로 기여할 수 있는가?
• RQ2 보고자 신뢰도와 스파티오테미포럴 불확실성을 모델링함으로써 기준선 방법 대비 탐지 성능이 어떻게 향상되는가?
• RQ3 시간 윈도우, 공간 해상도 등 초모수 설정(예: 시간 윈도우, 공간 해상도)은 사고 탐지 정확도와 F1 점수를 최적화하는 데 어떻게 기여하는가?
• RQ4 공식 E-TRIMS 기록 이전에 시스템이 사고를 얼마나 일찍 예측할 수 있는가?
• RQ5 다양한 사고 간격, 공간 격자 크기, 시간 단위에서 성능은 어떻게 변하는가?

주요 결과

• 제안된 베이지안 융합 방법은 강력한 기준선 방법 대비 F1 점수에서 5% 이상의 상대적 향상을 달성했다.
• 최적의 모델(M6)은 공식 E-TRIMS 기록보다 평균 5.92분 일찍 사고를 탐지했다.
• 로지스틱 회귀 기반 기법이 F1 점수와 AUC 모두에서 다른 분류기보다 뛰어나 정밀도와 재현율의 균형을 더 잘 유지함을 시사했다.
• 모델 성능은 공간 해상도 크기에 민감했으며, 최적의 성능은 100미터에서 달성되어 공간 해상도 조정의 중요성을 입증했다.
• 사고 간격을 늘리면 F1 점수는 약간 향상되어 드물게 발생하는 사고에 대해 더 긴 탐지 윈도우가 신뢰도를 높이는 데 기여함을 시사했다.
• 희소하고 일관성 없는 보고를 다룰 때도 시스템은 베이지안 불확실성 정량화를 통해 높은 예측 신뢰도를 유지하며 뛰어난 강건성을 보였다.

Figure 3: Overview of the Bayesian-theoretic approach to fuse information and detect incidents.