[论文解读] FishEye8K: A Benchmark and Dataset for Fisheye Camera Object Detection

Munkhjargal Gochoo, Munkh-Erdene Otgonbold+10 more|arXiv (Cornell University)|May 27, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本论文提出 FishEye8K，一个全新的开放基准数据集，包含来自中国台湾新竹市18个监控摄像头采集的8,000张鱼眼相机图像，共157,000个边界框，涵盖五个道路物体类别（行人、自行车、汽车、公共汽车、卡车）。该研究评估了最先进 YOLO 模型的性能，结果显示 YOLOv8 和 YOLOR 达到最高的 mAP，尽管存在极端畸变和类别不平衡的挑战，仍为基于鱼眼相机的智慧城市与视频分析应用奠定了基础。

ABSTRACT

With the advance of AI, road object detection has been a prominent topic in computer vision, mostly using perspective cameras. Fisheye lens provides omnidirectional wide coverage for using fewer cameras to monitor road intersections, however with view distortions. To our knowledge, there is no existing open dataset prepared for traffic surveillance on fisheye cameras. This paper introduces an open FishEye8K benchmark dataset for road object detection tasks, which comprises 157K bounding boxes across five classes (Pedestrian, Bike, Car, Bus, and Truck). In addition, we present benchmark results of State-of-The-Art (SoTA) models, including variations of YOLOv5, YOLOR, YOLO7, and YOLOv8. The dataset comprises 8,000 images recorded in 22 videos using 18 fisheye cameras for traffic monitoring in Hsinchu, Taiwan, at resolutions of 1080$ imes$1080 and 1280$ imes$1280. The data annotation and validation process were arduous and time-consuming, due to the ultra-wide panoramic and hemispherical fisheye camera images with large distortion and numerous road participants, particularly people riding scooters. To avoid bias, frames from a particular camera were assigned to either the training or test sets, maintaining a ratio of about 70:30 for both the number of images and bounding boxes in each class. Experimental results show that YOLOv8 and YOLOR outperform on input sizes 640$ imes$640 and 1280$ imes$1280, respectively. The dataset will be available on GitHub with PASCAL VOC, MS COCO, and YOLO annotation formats. The FishEye8K benchmark will provide significant contributions to the fisheye video analytics and smart city applications.

研究动机与目标

• 为解决交通监控中基于鱼眼相机的二维道路物体检测缺乏开放、大规模数据集的问题。
• 创建一个多样化、已匿名化的数据集，包含真实畸变、多变光照条件以及来自真实城市交叉路口的多种物体类别。
• 为在鱼眼图像上评估最先进物体检测模型提供标准化基准。
• 支持利用全向鱼眼摄像头开发鲁棒的视频分析与智慧城市应用。
• 通过按摄像头分离训练集与测试集，防止数据泄露与偏差，确保评估的公平性。

提出的方法

• 从安装在台湾新竹市的18个鱼眼监控摄像头中采集了22段视频序列（每段8–20分钟），覆盖城市交叉路口与高速公路。
• 使用细致的手动标注方式，对8,000帧图像中的五个类别（行人、自行车、汽车、公共汽车、卡车）进行157,000个边界框的标注。
• 按摄像头保持70:30的训练集与测试集划分，防止数据泄露，并确保各类别在各集合中分布均衡。
• 提供多种标准标注格式以确保广泛兼容性：PASCAL VOC、MS COCO 和 YOLO。
• 使用标准指标（mAP、精确率、召回率、推理时间）在数据集上评估了最先进模型，包括 YOLOv5x、YOLOR、YOLOv7 和 YOLOv8。
• 通过模糊人脸与车牌实现数据匿名化，确保符合隐私合规要求。

实验结果

研究问题

• RQ1 在具有极端径向畸变的鱼眼相机图像上，最先进物体检测模型的性能如何？
• RQ2 在鱼眼数据上，输入分辨率（640×640 与 1280×1280）对模型准确率有何影响？
• RQ3 物体检测器在鱼眼图像中的主要失效模式是什么，特别是对小尺寸或远距离物体？
• RQ4 类别不平衡与图像畸变如何影响不同物体类别上的检测性能？
• RQ5 现有基于 YOLO 的模型是否无需从头开始训练即可有效泛化到鱼眼相机数据？

主要发现

• YOLOv8 和 YOLOR 在 FishEye8K 数据集上达到最高的 mAP，其中 YOLOv8 在 640×640 输入尺寸下表现最佳，YOLOR 在 1280×1280 下表现最佳。
• 最佳模型（YOLOR-W6）的 mAP@0.5 分别为：汽车 0.8161，卡车 0.7853，自行车 0.7422，公共汽车 0.6541，行人 0.3621。
• 行人类别精确率最低（0.49），假阴性率最高（0.72），表明对小尺寸或远距离行人存在显著检测挑战。
• 背景元素常导致误报，自行车类别中有65%的误报为将标志或建筑物误识别为自行车。
• 在高端 GPU 上，推理时间范围为 4.3 ms 至 43.9 ms，表明具备高效实时推理潜力。
• 该数据集揭示了所有类别中较高的假阴性率（0.29–0.72），尤其针对停靠或部分可见的车辆；同时，远距离行人常被误分类为自行车，因尺寸缩小所致。