[论文解读] Joint Attention in Autonomous Driving (JAAD)

Iuliia Kotseruba, Amir Rasouli+1 more|arXiv (Cornell University)|Sep 15, 2016

Adversarial Robustness in Machine Learning参考文献 26被引用 83

一句话总结

本文介绍了JAAD（自动驾驶中的联合注意）数据集，这是一个大规模、多样化的现实驾驶场景集合，捕捉了驾驶员、行人和骑行人之间的联合注意行为。该数据集包含标注的边界框、物理条件（例如光照、速度）以及在不同天气、地点和人口统计条件下的行为背景，有助于更好地理解自动驾驶场景中的视觉复杂性和社交互动。

ABSTRACT

In this paper we present a novel dataset for a critical aspect of autonomous driving, the joint attention that must occur between drivers and of pedestrians, cyclists or other drivers. This dataset is produced with the intention of demonstrating the behavioral variability of traffic participants. We also show how visual complexity of the behaviors and scene understanding is affected by various factors such as different weather conditions, geographical locations, traffic and demographics of the people involved. The ground truth data conveys information regarding the location of participants (bounding boxes), the physical conditions (e.g. lighting and speed) and the behavior of the parties involved.

研究动机与目标

• 为解决自动驾驶中交通参与者之间联合注意行为缺乏全面、真实世界数据集的问题。
• 在不同环境和人口统计条件下，对驾驶员、行人和骑行人行为变异性进行建模。
• 提供一个丰富标注的数据集，以支持视觉复杂性、场景理解和社会互动建模方面的研究。
• 推动开发能够考虑高上下文可变性的动态真实驾驶场景的鲁棒感知系统。

提出的方法

• 在不同城市和天气条件下，于城市和郊区环境中使用多个高分辨率摄像头及GPS/IMU传感器进行数据采集。
• 通过边界框对手动标注交通参与者，并附加关于光照、速度和行人/骑行人行为等物理条件的元数据。
• 整合多样化的人口统计数据（例如年龄、性别）和交通密度，以反映真实世界中的变异性。
• 设计结构化的标注流程，以捕捉联合注意动态，包括视线方向和互动意图。
• 利用该数据集训练并评估在复杂视觉条件下进行行为预测和场景理解的模型。
• 将该数据集应用于机器人学和计算机视觉领域中自动驾驶应用的算法基准测试。

实验结果

研究问题

• RQ1 不同天气条件和地理区域下，交通场景中的视觉复杂性如何变化？
• RQ2 在真实驾驶场景中，驾驶员与行人/骑行人之间的联合注意行为呈现出何种行为模式？
• RQ3 人口统计因素（例如年龄、性别）和交通密度如何影响联合注意行为？
• RQ4 联合注意标注在多大程度上能提升自动驾驶车辆中行为预测和场景理解的准确性？
• RQ5 物理条件（例如光照、速度）的整合如何提升复杂驾驶环境中模型的性能？

主要发现

• JAAD数据集捕捉到了交通参与者之间显著的行为变异性，不同天气和地点条件下联合注意模式存在明显差异。
• 在恶劣天气（例如雨天、雾天）和高交通密度下，场景的视觉复杂性显著增加，影响感知系统性能。
• 标注的物理条件（如光照和速度）与观察到的联合注意事件的频率和类型密切相关。
• 行人年龄和性别等人口统计因素会影响其与驾驶员之间联合注意互动的可能性和性质。
• 当模型整合联合注意和上下文线索时，行为预测任务的性能得到显著提升。
• 多样化的现实场景整合提升了基于JAAD训练的感知模型的泛化能力，优于合成或有限数据集。