[论文解读] Action Detection from a Robot-Car Perspective

Valentina Fontana, Gurkirt Singh+4 more|arXiv (Cornell University)|Jul 30, 2018

Anomaly Detection Techniques and Applications参考文献 21被引用 3

一句话总结

本论文提出了道路事件与行为检测（READ）数据集，这是首个面向自动驾驶场景中时空动作检测的基准数据集，通过在牛津RobotCar数据集基础上扩展多标签注释（包括道路使用者的行为、位置和身份），构建而成。利用在线动作检测模型，作者在初始测试集上实现了17.5%的帧级平均精度（frame-mAP），证明了该数据集在自动驾驶系统中实现基于视觉的实时决策的可行性。

ABSTRACT

We present the new Road Event and Activity Detection (READ) dataset, designed and created from an autonomous vehicle perspective to take action detection challenges to autonomous driving. READ will give scholars in computer vision, smart cars and machine learning at large the opportunity to conduct research into exciting new problems such as understanding complex (road) activities, discerning the behaviour of sentient agents, and predicting both the label and the location of future actions and events, with the final goal of supporting autonomous decision making.

研究动机与目标

• 为解决自动驾驶场景中缺乏面向实时视觉动作检测的专用数据集的问题。
• 实现从机器人汽车视角出发，对涉及所有道路使用者（行人、骑行人、车辆等）的复杂道路事件进行检测、定位与预测。
• 通过提供在线实时动作检测的基准，支持安全、可靠且智能的自动驾驶车辆的开发。
• 通过引入多样化的现实道路条件以及道路参与者之间的复杂交互，扩展现有动作检测基准的范围。
• 为未来在驾驶场景中实现时间动作管链接与多标签事件组合的研究奠定基础。

提出的方法

• 对牛津RobotCar数据集的一个子集进行三类标签的标注：(i) 道路使用者相对于自动驾驶车辆的位置，(ii) 道路使用者类型（如行人、骑行人、车辆），(iii) 正在执行的动作（如过街、转弯、停车）。
• 采用多标签标注方案，以支持对道路事件的细粒度、组合式标注，实现更丰富的事件表征。
• 基于Singh等人[23]的方法，仅使用外观流在READv1数据集上训练一个在线实时动作检测模型，训练30K–40K次迭代，基础初始学习率为0.001。
• 由于初始发布版本中尚未提供完整的时序关联，因此采用IoU ≥ 0.5条件下的帧级平均精度（frame-AP）作为性能评估指标。
• 计划在未来版本中通过引入光流流训练与融合策略扩展该方法。
• 计划于2018年10月前发布完整数据集，包含时序关联与多标签注释，托管于GitHub平台，并附带基线代码与文档。

实验结果

研究问题

• RQ1 基于视觉的系统能否从机器人汽车视角实时检测并定位多样道路使用者（行人、骑行人、车辆）的行为？
• RQ2 在真实驾驶场景中，模型在不同道路使用者类型与动作类别上的动作检测性能如何变化？
• RQ3 数据集中类别不平衡在多大程度上影响检测精度？可通过数据增强与标注策略进行何种缓解？
• RQ4 在尚未提供时序关联前，使用帧级指标（frame-AP）作为视频级评估（video-mAP）的代理是否可行？
• RQ5 多标签标注方案在自动驾驶系统中如何提升对复杂复合道路事件的建模能力？

主要发现

• READv1数据集包含18,027个标注实例，分布在4,343个测试帧中，涵盖27种涉及行人、骑行人、车辆及交通信号灯的事件类型。
• 在线动作检测模型在READv1上的帧-mAP为17.5%，表明在具有挑战性的现实驾驶基准上达到了中等水平的基线性能。
• 性能与实例数量强相关：高频类别（如“车辆在车道中行驶”，3,098个实例）的AP达到45.8%，而稀有类别（如“车辆左转示意”，仅1个实例）的AP为0.0%。
• 高性能类别包括“交通灯变绿”（58.6% AP）和“交通灯变红”（52.7% AP），表明静态且可预测的信号更容易检测。
• 低性能类别如“行人非法过街”（0.0% AP）和“骑行人左转”（0.0% AP）因样本不足而表现不佳，需更多数据或更优建模方法。
• 作者识别出类别不平衡与时序关联缺失是主要局限，计划通过增加标注与提供管级真实标签，在未来数据集版本中加以解决。