[논문 리뷰] inTformer: A Time-Embedded Attention-Based Transformer for Crash Likelihood Prediction at Intersections Using Connected Vehicle Data

B M Tazbiul Hassan Anik, Zubayer Islam외 1명|arXiv (Cornell University)|2023. 07. 07.

Traffic Prediction and Management Techniques인용 수 5

한 줄 요약

이 논문은 연결 차량 데이터를 활용하여 교차로에서 사고 발생 가능성을 실시간으로 예측하는 시간 임bed된 어텐션 기반 트랜스포머 모델인 inTformer를 제안한다. 교차로를 '교차로 내부' 및 '도착 구역'으로 나누어 모델링함으로써, 교차로 내부 영역에서는 73%의 민감도를, 도착 구역에서는 70%의 민감도를 기록하여 동일한 데이터셋에서 이전의 딥러닝 모델들을 능가한다.

ABSTRACT

The real-time crash likelihood prediction model is an essential component of the proactive traffic safety management system. Over the years, numerous studies have attempted to construct a crash likelihood prediction model in order to enhance traffic safety, but mostly on freeways. In the majority of the existing studies, researchers have primarily employed a deep learning-based framework to identify crash potential. Lately, Transformer has emerged as a potential deep neural network that fundamentally operates through attention-based mechanisms. Transformer has several functional benefits over extant deep learning models such as LSTM, CNN, etc. Firstly, Transformer can readily handle long-term dependencies in a data sequence. Secondly, Transformers can parallelly process all elements in a data sequence during training. Finally, a Transformer does not have the vanishing gradient issue. Realizing the immense possibility of Transformers, this paper proposes inTersection-Transformer (inTformer), a time-embedded attention-based Transformer model that can effectively predict intersection crash likelihood in real-time. The proposed model was evaluated using connected vehicle data extracted from Signal Analytics Platform. Acknowledging the complex traffic operation mechanism at intersection, this study developed zone-specific models by dividing the intersection region into two distinct zones: within-intersection and approach zone. The best inTformer models in 'within-intersection,' and 'approach' zone achieved a sensitivity of 73%, and 70%, respectively. The zone-level models were also compared to earlier studies on crash likelihood prediction at intersections and with several established deep learning models trained on the same connected vehicle dataset.

연구 동기 및 목표

• 연결 차량 데이터를 활용하여 교차로에서 실시간 사고 발생 가능성 예측 모델을 개발하는 것.
• 고속도로 중심의 사고 예측 연구 갭을 보완하기 위해, 복잡한 교차로 환경으로 주목점을 이동시키는 것.
• 기존의 RNN 및 CNN보다 더 높은 정확도를 확보하기 위해 트랜스포머의 어텐션 메커니즘을 활용하여 장기적 의존성을 모델링하는 것.
• 교차로 내부 영역과 도착 영역의 서로 다른 교통 역학을 반영하기 위해 영역별로 특화된 모델(내부 및 도착 영역)을 구축하는 것.
• 공정한 비교를 위해 동일한 연결 차량 데이터셋을 사용하여 제안된 모델을 기존의 확립된 딥러닝 모델들과 비교 평가하는 것.

제안 방법

• inTformer 모델은 연결 차량 데이터의 시간적 시퀀스를 처리하기 위해 시간 임베딩을 적용한 멀티헤드 자기어텐션 메커니즘을 사용한다.
• 시간적 순서와 차량 궤적의 시퀀스 역학을 유지하기 위해, 시간 임베딩이 입력 표현에 명시적으로 통합된다.
• 교차로 영역은 '교차로 내부'와 '도착'이라는 두 가지 구분된 영역으로 나뉘어 각 영역의 교통 행동에 맞는 별도의 모델을 훈련한다.
• 모델은 시퀀스 기반 특징(속도, 위치, 타임스탬프 기반 차량 이동)을 사용하여 신호 분석 플랫폼에서 추출한 연결 차량 데이터를 엔드 투 엔드로 훈련한다.
• 어텐션 웨이트는 시퀀스의 모든 시간 단계에 걸쳐 계산되어 병렬 처리를 가능하게 하며, RNN에서 흔히 발생하는 기울기 소실 문제를 완화한다.
• 최종 예측 헤드는 인코딩된 시퀀스 표현을 기반으로 정해진 시간 창 내 사고 발생 가능성을 출력한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 연결 차량 데이터를 활용하여 교차로에서 사고 발생 가능성을 효과적으로 예측할 수 있는가?
• RQ2 동일한 교차로 사고 예측 작업에서 inTformer 모델의 성능은 기존의 딥러닝 모델들(LSTM, CNN 등)과 비교해 어떻게 다른가?
• RQ3 교차로를 '교차로 내부'와 '도착'이라는 두 개의 별도 영역으로 모델링하는 것이 단일 통합 모델보다 예측 정확도를 향상시키는가?
• RQ4 시간 임베딩이 사고 예측에 핵심적인 시간적 의존성을 포착하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ5 inTformer 모델은 서로 다른 교차로 영역에서 임박한 사고를 감지하는 데 어떤 민감도를 보이는가?

주요 결과

• inTformer 모델은 '교차로 내부' 영역에서 73%의 민감도를 기록하여 핵심 교차로 영역에서 잠재적 사고를 강력하게 탐지할 수 있음을 시사한다.
• '도착' 영역에서는 70%의 민감도를 기록하여 차량이 교차로에 접근할 때의 사고 발생 가능성을 효과적으로 예측함을 보여준다.
• 영역별 모델링 접근 방식은 각 영역 고유의 교통 역학을 더 잘 포착하여 단일 통합 모델보다 성능 향상을 이뤘다.
• 동일한 연결 차량 데이터셋에서 기존의 딥러닝 모델(LSTM, CNN 등)보다 inTformer 모델이 장기적인 시간적 의존성을 다루는 데 뛰어난 성능을 보였다.
• 시간 임bed된 어텐션 메커니즘의 사용으로 더 나은 시퀀스 모델링이 가능했고, 순환 구조 대비 기울기 소실 문제를 줄였다.
• 훈련 중 시퀀스를 병렬 처리할 수 있는 능력 덕분에 수렴 속도가 빨라졌고, 대규모 연결 차량 데이터에 대한 확장성도 향상되었다.