[论文解读] inTformer: A Time-Embedded Attention-Based Transformer for Crash Likelihood Prediction at Intersections Using Connected Vehicle Data

B M Tazbiul Hassan Anik, Zubayer Islam+1 more|arXiv (Cornell University)|Jul 7, 2023

Traffic Prediction and Management Techniques被引用 5

一句话总结

本文提出 inTformer，一种基于时间嵌入注意力机制的 Transformer 模型，利用车联网数据实现实时预测交叉路口的碰撞可能性。通过将交叉路口划分为‘路口内部’和‘接近区域’两个区域，模型在路口内部区域实现了 73% 的敏感度，在接近区域实现了 70% 的敏感度，优于同一数据集上的以往深度学习模型。

ABSTRACT

The real-time crash likelihood prediction model is an essential component of the proactive traffic safety management system. Over the years, numerous studies have attempted to construct a crash likelihood prediction model in order to enhance traffic safety, but mostly on freeways. In the majority of the existing studies, researchers have primarily employed a deep learning-based framework to identify crash potential. Lately, Transformer has emerged as a potential deep neural network that fundamentally operates through attention-based mechanisms. Transformer has several functional benefits over extant deep learning models such as LSTM, CNN, etc. Firstly, Transformer can readily handle long-term dependencies in a data sequence. Secondly, Transformers can parallelly process all elements in a data sequence during training. Finally, a Transformer does not have the vanishing gradient issue. Realizing the immense possibility of Transformers, this paper proposes inTersection-Transformer (inTformer), a time-embedded attention-based Transformer model that can effectively predict intersection crash likelihood in real-time. The proposed model was evaluated using connected vehicle data extracted from Signal Analytics Platform. Acknowledging the complex traffic operation mechanism at intersection, this study developed zone-specific models by dividing the intersection region into two distinct zones: within-intersection and approach zone. The best inTformer models in 'within-intersection,' and 'approach' zone achieved a sensitivity of 73%, and 70%, respectively. The zone-level models were also compared to earlier studies on crash likelihood prediction at intersections and with several established deep learning models trained on the same connected vehicle dataset.

研究动机与目标

• 开发一种基于车联网数据的实时交叉路口碰撞可能性预测模型。
• 通过将研究重点从高速公路转向复杂交叉路口环境，填补碰撞预测研究中对高速公路关注不足的空白。
• 利用 Transformer 的注意力机制建模长期依赖关系，提升预测精度，超越传统 RNN 和 CNN 模型。
• 构建区域特定的模型（路口内部和接近区域），以反映不同交叉路口区域特有的交通动态。
• 在相同车联网数据集上，将所提模型与成熟的深度学习模型进行公平比较。

提出的方法

• inTformer 模型采用时间嵌入的多头自注意力机制，处理车联网数据的时间序列。
• 时间嵌入被显式地整合到输入表示中，以保留车辆轨迹的时间顺序和序列动态特性。
• 将交叉路口区域划分为两个独立区域——'路口内部'和'接近区域'，以分别训练适应该区域交通行为的模型。
• 模型在来自信号分析平台提取的车联网数据上进行端到端训练，使用基于序列的特征，如速度、位置和带时间戳的车辆移动信息。
• 注意力权重在序列的所有时间步上计算，支持并行处理，并缓解了 RNN 中常见的梯度消失问题。
• 最终的预测头基于编码后的序列表示，输出在预定义时间窗口内发生碰撞的可能性。

实验结果

研究问题

• RQ1 基于 Transformer 的模型是否能有效利用车联网数据预测交叉路口的碰撞可能性？
• RQ2 inTformer 模型在相同交叉路口碰撞预测任务中，与成熟深度学习模型（如 LSTM、CNN）相比表现如何？
• RQ3 将交叉路口划分为两个独立区域（路口内部和接近区域）是否能提升预测精度，相比单一统一模型？
• RQ4 时间嵌入在多大程度上增强了模型捕捉对碰撞预测至关重要的时间依赖关系的能力？
• RQ5 inTformer 模型在不同交叉路口区域检测即将发生的碰撞的敏感度如何？

主要发现

• inTformer 模型在 '路口内部' 区域实现了 73% 的敏感度，表明其在核心交叉路口区域具有强大的潜在碰撞检测能力。
• 在 '接近' 区域，模型实现了 70% 的敏感度，证明其在车辆接近交叉路口时有效预测碰撞可能性。
• 区域特定的建模方法通过捕捉每个区域独有的交通动态，提升了性能，优于单一统一模型。
• inTformer 模型在相同车联网数据集上优于基线深度学习模型（如 LSTM 和 CNN），尤其在处理长期时间依赖关系方面表现更优。
• 时间嵌入注意力机制的使用，使序列建模更优，并相比循环神经网络架构更有效地缓解了梯度消失问题。
• 模型在训练期间能够并行处理序列，有助于加快收敛速度，并在大规模车联网数据上实现更好的可扩展性。