[论文解读] When, Where, and What? A New Dataset for Anomaly Detection in Driving Videos

Yu Yao, Xizi Wang+4 more|arXiv (Cornell University)|Apr 6, 2020

Anomaly Detection Techniques and Applications参考文献 46被引用 38

一句话总结

引入 DoTA 数据集用于自我中心的交通视频异常检测，具备时序、空间和类别注释，并提出 STAUC 时空评估指标，以更好地评估 VAD 性能。

ABSTRACT

Video anomaly detection (VAD) has been extensively studied. However, research on egocentric traffic videos with dynamic scenes lacks large-scale benchmark datasets as well as effective evaluation metrics. This paper proposes traffic anomaly detection with a extit{when-where-what} pipeline to detect, localize, and recognize anomalous events from egocentric videos. We introduce a new dataset called Detection of Traffic Anomaly (DoTA) containing 4,677 videos with temporal, spatial, and categorical annotations. A new spatial-temporal area under curve (STAUC) evaluation metric is proposed and used with DoTA. State-of-the-art methods are benchmarked for two VAD-related tasks.Experimental results show STAUC is an effective VAD metric. To our knowledge, DoTA is the largest traffic anomaly dataset to-date and is the first supporting traffic anomaly studies across when-where-what perspectives. Our code and dataset can be found in: https://github.com/MoonBlvd/Detection-of-Traffic-Anomaly

研究动机与目标

• 提供一个大规模的自我中心交通视频数据集，支持异常的 when-where-what 分析。
• 引入丰富的时间、空间和类别注释来描述驾驶异常。
• 提出 STAUC 指标以评估异常的时空定位。
• 在 DoTA 数据集上基准测试现有的 VAD 和 VAR 方法以建立基线。
• 研究结合帧级外观和面向对象线索的集成方法的优势。

提出的方法

• 数据集构建包含 4,677 条视频，分辨率为 1280x720，且提取帧率为 10 fps 以用于注释。
• 丰富的注释，包括异常类型（在自我/非自我分割后为 18 个类别）、时间起止，以及逐帧的异常对象轨迹。
• 定义 When-Where-What 流水线，并将 VAD 划分为预测逐帧异常分数和逐对象异常分数。
• 引入 STAUC，这是 AUC 的时空扩展，通过与注释的异常区域重叠来对真正例加权。
• 在 DoTA 上对无监督帧级、无监督对象中心，以及有监督 VAD 方法进行基准测试。
• 在 DoTA 上对 VAR 方法（C3D, I3D, R3D, MC3D, R(2+1)D, TSN, SlowFast）进行基准测试。

实验结果

研究问题

• RQ1 一个大规模的自我中心驾驶视频数据集是否能够支持全面的 when-where-what 异常分析？
• RQ2 STAUC 指标是否比 AUC 在驾驶视频的 VAD 中提供更有信息性的评估？
• RQ3 在 DoTA 上，最先进的 VAD 方法在 AUC 和 STAUC 两者下的表现如何？
• RQ4 在驾驶异常任务中，VAR 方法的表现如何，面临哪些挑战？
• RQ5 集成学习通过结合帧级外观和对象中心线索是否能提升 VAD 性能？

主要发现

• DoTA 是迄今为止最大的交通异常数据集，具备时序、空间和类别注释，进行 when-where-what 分析。
• STAUC 通常优于 AUC，凸显对异常区域的更好定位。
• 将帧级和对象中心线索结合的集成方法在所测试的 VAD 方法中实现最佳的 AUC 与 STAUC。
• 有监督的 VAR 模型在 AUC 上高于无监督的 VAD，但 DoTA 上的总体 VAR 准确性仍具挑战性，且各类别之间差异显著。
• 帧级和对象中心的 VAD 方法可以部分相互补偿，前景聚焦的变体提升了空间定位。
• DoTA 的基准测试表明交通异常理解仍然困难，推动进一步研究。