[论文解读] Cognitive Accident Prediction in Driving Scenes: A Multimodality Benchmark

Jianwu Fang, Leilei Li+4 more|arXiv (Cornell University)|Dec 19, 2022

Sentiment Analysis and Opinion Mining被引用 10

一句话总结

本文提出认知事故预测（CAP），一种视觉-语言多模态框架，通过利用驾驶员注意力和文本描述来提升驾驶视频中的事故预测性能。通过融合注意力文本到视觉的特征迁移与场景上下文传递，CAP 在包含 11,727 个真实场景事故视频、并带有详细事实-影响-原因-反思标注的新大规模基准数据集 CAP-DATA 上实现了最先进性能。

ABSTRACT

Traffic accident prediction in driving videos aims to provide an early warning of the accident occurrence, and supports the decision making of safe driving systems. Previous works usually concentrate on the spatial-temporal correlation of object-level context, while they do not fit the inherent long-tailed data distribution well and are vulnerable to severe environmental change. In this work, we propose a Cognitive Accident Prediction (CAP) method that explicitly leverages human-inspired cognition of text description on the visual observation and the driver attention to facilitate model training. In particular, the text description provides a dense semantic description guidance for the primary context of the traffic scene, while the driver attention provides a traction to focus on the critical region closely correlating with safe driving. CAP is formulated by an attentive text-to-vision shift fusion module, an attentive scene context transfer module, and the driver attention guided accident prediction module. We leverage the attention mechanism in these modules to explore the core semantic cues for accident prediction. In order to train CAP, we extend an existing self-collected DADA-2000 dataset (with annotated driver attention for each frame) with further factual text descriptions for the visual observations before the accidents. Besides, we construct a new large-scale benchmark consisting of 11,727 in-the-wild accident videos with over 2.19 million frames (named as CAP-DATA) together with labeled fact-effect-reason-introspection description and temporal accident frame label. Based on extensive experiments, the superiority of CAP is validated compared with state-of-the-art approaches. The code, CAP-DATA, and all results will be released in \url{https://github.com/JWFanggit/LOTVS-CAP}.

研究动机与目标

• 解决现有事故预测模型在处理长尾数据分布和环境多样性方面的局限性。
• 通过引入类人认知信号——文本描述与驾驶员注意力——提升基于视频的事故预测模型的鲁棒性与可解释性。
• 构建一个大规模、多样化的基准数据集（CAP-DATA），包含对事实、影响、原因和反思的详细标注，以支持认知事故预测的高级研究。
• 验证视觉-语言融合与注意力机制在复杂视觉条件下提升早期事故检测能力的有效性。
• 证明模型在推理阶段移除文本模态后仍能保持强性能，表明其对真实世界部署具备良好适应能力。

提出的方法

• 提出一种注意力文本到视觉特征迁移融合模块，将文本描述与视觉特征对齐，引导注意力聚焦于与事故相关的场景元素。
• 引入一种注意力场景上下文迁移模块，利用自注意力机制建模物体间的时空依赖关系，以增强上下文表征。
• 采用驾驶员注意力引导的事故预测模块，利用人类注视图聚焦事故前的关键区域。
• 采用基于视觉-语言 Transformer 的架构，融合视觉、文本与注意力模态输入，实现多模态推理。
• 采用对比学习与交叉注意力机制端到端训练模型，对齐各模态间的语义线索。
• 应用领域自适应技术，使模型能在无文本输入的测试场景中泛化，模拟真实世界部署环境。

实验结果

研究问题

• RQ1 整合文本描述与驾驶员注意力是否能提升事故预测模型在长尾分布与恶劣环境条件下的性能与鲁棒性？
• RQ2 所提出的注意力文本到视觉特征迁移融合机制在对齐语义线索与视觉特征方面，对早期事故检测的有效性如何？
• RQ3 认知信号（文本与注意力）的引入在多大程度上增强了模型在真实驾驶场景中的可解释性与泛化能力？
• RQ4 当在未见数据上测试且无文本输入时，模型在跨数据集评估中的表现如何？
• RQ5 各模态（视觉、文本、注意力）对最终预测性能的相对贡献是什么？

主要发现

• CAP 在 CAP-DATA 基准上达到最先进性能，其时间到事故（TTA）指标显著优于先前方法如 DRIVE 与 DSTA。
• 即使在推理阶段移除文本模态，模型仍保持强性能，表明通过注意力特征迁移模块实现了有效的领域自适应。
• 添加文本描述可提升预测准确率，尤其在长期（5 秒与 4 秒）事故预测中，CAP 与基线模型之间的性能差距进一步扩大。
• 在 CCD 数据集上，CAP 在跨数据集评估中取得 0.997 的 AP 得分，优于所有基线模型，包括 DRIVE（0.992）与 XAI-ANT（0.940）。
• mTTA 指标显示，CAP 在曲线道路与 T 型路口的长期预测中表现最佳，表明其对复杂道路几何结构具有更强适应能力。
• 研究表明，AP 与 mTTA 作为评估指标存在局限性：AP 对负样本比例敏感，而 mTTA 在不同驾驶场景间缺乏区分度。