[论文解读] EAGLE: Large-scale Vehicle Detection Dataset inReal-World Scenarios using Aerial Imagery

Seyed Majid Azimi, Reza Bahmanyar+2 more|arXiv (Cornell University)|Jul 12, 2020

Advanced Neural Network Applications参考文献 42被引用 4

一句话总结

EAGLE 是一个大规模的真实世界航拍图像数据集，包含 215,986 个使用四点边界框和方向标签标注的定向车辆实例，支持在不同天气、光照、遮挡和相机角度等复杂条件下进行多类别车辆检测。该数据集通过支持三种任务——水平、旋转和定向边界框检测——建立了航拍目标检测的新基准，并通过广泛评估 SOTA 模型提供了最先进的基线表现。

ABSTRACT

Multi-class vehicle detection from airborne imagery with orientation estimation is an important task in the near and remote vision domains with applications in traffic monitoring and disaster management. In the last decade, we have witnessed significant progress in object detection in ground imagery, but it is still in its infancy in airborne imagery, mostly due to the scarcity of diverse and large-scale datasets. Despite being a useful tool for different applications, current airborne datasets only partially reflect the challenges of real-world scenarios. To address this issue, we introduce EAGLE (oriEnted vehicle detection using Aerial imaGery in real-worLd scEnarios), a large-scale dataset for multi-class vehicle detection with object orientation information in aerial imagery. It features high-resolution aerial images composed of different real-world situations with a wide variety of camera sensor, resolution, flight altitude, weather, illumination, haze, shadow, time, city, country, occlusion, and camera angle. The annotation was done by airborne imagery experts with small- and large-vehicle classes. EAGLE contains 215,986 instances annotated with oriented bounding boxes defined by four points and orientation, making it by far the largest dataset to date in this task. It also supports researches on the haze and shadow removal as well as super-resolution and in-painting applications. We define three tasks: detection by (1) horizontal bounding boxes, (2) rotated bounding boxes, and (3) oriented bounding boxes. We carried out several experiments to evaluate several state-of-the-art methods in object detection on our dataset to form a baseline. Experiments show that the EAGLE dataset accurately reflects real-world situations and correspondingly challenging applications.

研究动机与目标

• 解决当前缺乏大规模、多样化且真实世界航拍图像数据集的问题，以支持带方向估计的多类别车辆检测。
• 克服现有数据集在真实世界挑战（如雾霾、阴影、飞行高度变化和传感器类型差异）方面代表性不足的局限。
• 通过使用高分辨率航拍图像，在真实条件下为评估最先进目标检测模型提供全面的基准。
• 通过数据集的多样化和丰富标注，支持去雾、去阴影、超分辨率和图像修复等相关研究。
• 为三种检测任务（水平、旋转和定向边界框检测）建立标准化的评估协议。

提出的方法

• 从多种真实世界场景中收集高分辨率航拍图像，涵盖多个城市、国家、飞行高度、天气状况和光照水平。
• 由航拍图像标注专家使用由四个角点定义的定向边界框和方向角度，对 215,986 个车辆实例进行标注。
• 设计三种不同的检测任务：(1) 水平边界框，(2) 旋转边界框，(3) 定向边界框，以评估模型的鲁棒性。
• 通过包含相机传感器类型、分辨率、一天中不同时间、遮挡、雾霾和阴影等差异，确保数据集的多样性。
• 通过提供适用于去雾、去阴影、超分辨率和图像修复任务的数据，支持下游应用。
• 在 EAGLE 数据集上训练并评估多种最先进目标检测模型，以建立性能基线。

实验结果

研究问题

• RQ1 EAGLE 数据集在多大程度上反映了真实世界航拍检测挑战，如天气、光照和遮挡的变化？
• RQ2 最先进目标检测模型在真实世界复杂条件下进行航拍图像中定向车辆检测时表现如何？
• RQ3 与水平或旋转边界框相比，使用定向边界框在航拍车辆检测中能带来多大的性能提升？
• RQ4 EAGLE 数据集能否作为推进航拍图像理解研究（包括去雾和超分辨率）的可靠基准？
• RQ5 飞行高度、传感器类型和环境条件的变化如何影响航拍图像中的检测精度？

主要发现

• EAGLE 数据集包含 215,986 个使用定向边界框和方向信息标注的车辆实例，是目前同类中规模最大的航拍车辆检测数据集。
• 在 EAGLE 上的实验表明，基于该数据集训练的模型在雾霾、阴影和遮挡等多样化真实世界条件下表现出更强的鲁棒性。
• 与水平和旋转边界框基线相比，使用定向边界框显著提升了检测性能，尤其在长条形、细长车辆的检测场景中优势明显。
• 最先进目标检测模型在数据集中真实世界变化条件下的表现出现可测量的性能下降，证实了该数据集的挑战性和真实性。
• 由于其高分辨率和多样化标注，该数据集支持超越检测任务的先进研究，包括去雾、去阴影、超分辨率和图像修复。
• 在定义的三种任务（水平、旋转、定向）上的基线结果，为未来航拍目标检测方法的开发提供了强有力的参考基准。