[논문 리뷰] From Twitter to Traffic Predictor: Next-Day Morning Traffic Prediction Using Social Media Data

Weiran Yao, Sean Qian|arXiv (Cornell University)|2020. 09. 29.

Traffic Prediction and Management Techniques참고 문헌 78인용 수 67

한 줄 요약

이 논문은 자정까지 수집된 트위터 데이터를 활용해 다음 날 아침 교통 혼잡을 예측하는 사회적 미디어 기반 프레임워크인 tweet2traffic을 제안한다. 특히 야간 및 이른 아침 활동 패턴을 분석함으로써 트윗 정서, 시기, 지리적 위치 패턴을 분석하여 의미 있는 이동 수요 신호를 추출하며, 이는 특히 일일 변동성이 높은 교통 혼잡 지점의 상류에서 아침 혼잡 예측을 크게 향상시킨다.

ABSTRACT

The effectiveness of traditional traffic prediction methods is often extremely limited when forecasting traffic dynamics in early morning. The reason is that traffic can break down drastically during the early morning commute, and the time and duration of this break-down vary substantially from day to day. Early morning traffic forecast is crucial to inform morning-commute traffic management, but they are generally challenging to predict in advance, particularly by midnight. In this paper, we propose to mine Twitter messages as a probing method to understand the impacts of people's work and rest patterns in the evening/midnight of the previous day to the next-day morning traffic. The model is tested on freeway networks in Pittsburgh as experiments. The resulting relationship is surprisingly simple and powerful. We find that, in general, the earlier people rest as indicated from Tweets, the more congested roads will be in the next morning. The occurrence of big events in the evening before, represented by higher or lower tweet sentiment than normal, often implies lower travel demand in the next morning than normal days. Besides, people's tweeting activities in the night before and early morning are statistically associated with congestion in morning peak hours. We make use of such relationships to build a predictive framework which forecasts morning commute congestion using people's tweeting profiles extracted by 5 am or as late as the midnight prior to the morning. The Pittsburgh study supports that our framework can precisely predict morning congestion, particularly for some road segments upstream of roadway bottlenecks with large day-to-day congestion variation. Our approach considerably outperforms those existing methods without Twitter message features, and it can learn meaningful representation of demand from tweeting profiles that offer managerial insights.

연구 동기 및 목표

• 기존 모델이 높은 일일 변동성으로 인해 예측이 어려운 다음 날 아침 교통 혼잡 예측이라는 핵심 과제를 해결한다.
• 실시간 또는 이력 교통 데이터에 의존하는 전통적 교통 예측 모델의 한계를 극복하며, 이는 오전 5시 이전에 자유 흐름 상태로 인해 정보가 부족하기 때문이다.
• 특정 사회적 미디어 데이터—특히 트위터—가 인구 수준의 이동 수요 및 다음 날 아침 교통에 영향을 주는 행동 패턴의 대체 지표가 될 수 있는지 탐색한다.
• 사회적 미디어 신호, 교통 사고, 기상 조건, 시간 변수를 통합하는 데이터 기반 프레임워크를 개발하여 혼잡 발생 및 지속 시간을 조기에 예측한다.
• 트윗 유래 특징이 특히 수요 변동에 민감하고 교통 혼잡 지점의 상류에서 높은 예측 정확도를 향상시킬 수 있음을 입증한다.

제안 방법

• 야간(자정~오전 5시) 및 이른 아침 기간에 집중하여 지리적 좌표가 부여된 트윗, 재트윗, 좋아요, 사용자 타임라인 등을 포함한 트위터 데이터 수집 및 전처리.
• 소음이 많은 사용자(예: 관광객)를 제거하고 주거지를 추론하는 데이터 증강 전략을 구현하며, 비지리적 활동(예: 재트윗, 좋아요)을 활용해 트윗 데이터를 확장한다.
• 기본 정서 기반에서의 이탈을 식별함으로써 비정상적인 지역 행사(예: 공연, 경기)를 탐지하기 위해 신경망 기반 정서 분석 모델을 적용한다.
• 자연어 처리 및 키워드 매칭을 통해 트윗에서 교통 사고 보고를 추출하여 계획적 또는 비계획적 교란을 식별한다.
• 세 가지 구성 요소로 이루어진 다중 소스 예측 파이프라인을 구축한다: (1) 도로 수준의 교통 기술자, (2) 세그먼트 수준의 교통 분류기(이진 혼잡), (3) 세그먼트 수준의 교통 회귀분석기(혼잡 시작 시간, 지속 시간, 계획 지수).
• 도로 세그먼트를 따라 정렬된 시공간 혼잡 패턴을 활용하는 클러스터링된 학습 구조를 도입하여 일반화 능력과 예측 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 자정까지 수집된 트위터 데이터가 다음 날 아침 교통 혼잡 예측에 신뢰할 수 있는 신호를 제공할 수 있는가?
• RQ2 야간 트윗 활동으로 유추된 수면-각성 패턴과 아침 혼잡 수준 간의 상관관계는 어떠한가?
• RQ3 정서의 극단적 변화로 탐지된 비정상 지역 행사(예: 스포츠 경기, 공연)는 낮은 수준의 이동 수요와 낮은 혼잡도를 예측할 수 있는가?
• RQ4 트윗 유래 특징이 다양한 도로 세그먼트에서 전통적 데이터 소스(예: 교통 사고, 기상 조건)와 비교해 예측 능력이 얼마나 뛰어나게 되는가?
• RQ5 특수 행사로 인해 사람들이 저녁 활동으로 인해 아침 이동을 연기하거나 줄일 경우, 사회적 미디어 데이터 통합이 혼잡 예측 성능 향상에 가장 크게 기여하는가?

주요 결과

• 수면 시간이 이른 사람일수록(야간 트윗 활동 감소로 유추됨) 다음 날 아침에 더 혼잡한 도로가 될 가능성이 높다.
• 전날 야간 및 이른 아침(오전 5시 이전)의 트윗 활동은 통계적으로 높은 아침 혼잡과 관련이 있으며, 이는 저녁 행동과 다음 날 교통 패턴 간의 직접적인 연관성을 시사한다.
• 정서의 이질적 변화로 탐지된 비정상 지역 행사(예: 스포츠 경기, 공연)는 정상 수준 이하의 이동 수요와 낮은 아침 혼잡도를 동반한다.
• tweet2traffic 프레임워크는 사회적 미디어 기능이 없는 기준 모델보다 유의미하게 뛰어난 성능을 보이며, 특히 일일 변동성이 높은 교통 혼잡 지점의 상류 도로 세그먼트에서 두드러진다.
• 특수 행사 당일에는 사람들이 저녁 활동으로 인해 아침 이동을 연기하거나 줄임에 따라 사회적 미디어 데이터가 예측 정확도 향상에 가장 두드러지게 기여한다.
• 지연된 예측 시간이 증가하더라도 모델은 여전히 강건하며, 자정까지 수집된 데이터만으로도 신뢰할 수 있는 다음 날 아침 교통 혼잡 예측이 가능함을 보여준다.