[论文解读] METEOR: A Massive Dense & Heterogeneous Behavior Dataset for Autonomous Driving.

Rohan Chandra, Mridul Mahajan+5 more|arXiv (Cornell University)|Sep 16, 2021

Autonomous Vehicle Technology and Safety参考文献 30被引用 9

一句话总结

METEOR 是一个大规模、密集且异构的交通数据集，包含1000多个一分钟的视频片段、超过200万帧的标注帧以及1300多万个边界框，捕捉了印度复杂且无结构的驾驶行为。该数据集可用于物体检测和行为预测的基准测试，揭示了当前最先进模型的局限性，并建立了新的动作-行为预测基准，基线mAP为70.74。

ABSTRACT

We present a new and complex traffic dataset, METEOR, which captures traffic patterns in unstructured scenarios in India. METEOR consists of more than 1000 one-minute video clips, over 2 million annotated frames with ego-vehicle trajectories, and more than 13 million bounding boxes for surrounding vehicles or traffic agents. METEOR is a unique dataset in terms of capturing the heterogeneity of microscopic and macroscopic traffic characteristics. Furthermore, we provide annotations for rare and interesting driving behaviors such as cut-ins, yielding, overtaking, overspeeding, zigzagging, sudden lane changing, running traffic signals, driving in the wrong lanes, taking wrong turns, lack of right-of-way rules at intersections, etc. We also present diverse traffic scenarios corresponding to rainy weather, nighttime driving, driving in rural areas with unmarked roads, and high-density traffic scenarios. We use our novel dataset to evaluate the performance of object detection and behavior prediction algorithms. We show that state-of-the-art object detectors fail in these challenging conditions and also propose a new benchmark test: action-behavior prediction with a baseline mAP score of 70.74.

研究动机与目标

• 为解决缺乏全面捕捉真实世界异构环境中复杂无结构交通行为的数据集问题，特别是在发展中国家。
• 收集并标注一个大规模数据集，涵盖多样化且罕见的驾驶行为，如切入、突然变道和闯红灯。
• 在极端且真实的驾驶条件下，支持物体检测和行为预测算法的评估。
• 通过标准化的评估协议和基线性能指标，建立新的动作-行为预测基准。
• 通过在包括农村、夜间、雨天和高密度交通等多样化场景下进行训练和测试，提升自动驾驶系统的鲁棒性。

提出的方法

• 从印度真实交通环境中收集超过1000个一分钟的视频片段，涵盖农村、城市和高密度场景。
• 手动标注超过200万帧中1300多万个交通参与者的目标框和自车轨迹。
• 包含罕见且复杂的行为，如切入、礼让、超车、超速、蛇形行驶、逆向行驶和闯红灯。
• 涵盖具有挑战性的环境条件，包括夜间、雨天以及未标记的农村道路。
• 利用该数据集设计新的动作-行为预测基准，采用平均精度（mAP）进行评估。
• 使用最先进的模型在METEOR数据集上，建立70.74的基线mAP分数用于动作-行为预测。

实验结果

研究问题

• RQ1 最先进的物体检测器在具有罕见和激进驾驶行为的复杂异构交通场景中表现如何？
• RQ2 现有行为预测模型在缺乏或仅有弱交通规则的无结构交通环境中，其泛化能力如何？
• RQ3 能否利用像METEOR这样大规模且多样化的数据集，有效建立新的动作-行为预测基准？
• RQ4 雨天、夜间和未标记道路等环境因素如何影响感知与预测系统的性能？
• RQ5 当暴露于真实世界中罕见且高风险的驾驶行为时，当前模型的关键失效模式是什么？

主要发现

• 最先进的物体检测器在夜间、雨天和高密度交通等具有挑战性的条件下表现出显著的性能下降。
• 所提出的METEOR数据集捕捉了广泛范围的罕见和复杂行为，包括切入、突然变道和闯红灯，这些行为在现有数据集中代表性不足。
• METEOR上动作-行为预测的基线mAP得分为70.74，为未来研究设立了新的基准。
• 该数据集表明，当前模型在缺乏明确交通规则的无结构环境中，检测和预测行为方面存在困难。
• 在农村和未标记道路场景中，性能显著下降，表明感知系统需要进一步提升鲁棒性。
• METEOR中场景和行为的多样性暴露了当前自动驾驶系统在真实世界非标准化条件下的关键缺陷。