[论文解读] LARD -- Landing Approach Runway Detection -- Dataset for Vision Based Landing

Mélanie Ducoffe, Maxime Carrere+5 more|arXiv (Cornell University)|Apr 5, 2023

Advanced Neural Network Applications被引用 7

一句话总结

本文介绍了LARD，一个用于自主飞机着陆过程中基于视觉的跑道检测的高质量合成与真实航拍图像的开源数据集。通过使用基于Google Earth Studio和几何投影矩阵的自定义生成器，该方法能够利用相机的外参和内参矩阵自动标注跑道角点，显著降低标注成本，同时支持在不同环境和光照条件下进行逼真的检测任务。

ABSTRACT

As the interest in autonomous systems continues to grow, one of the major challenges is collecting sufficient and representative real-world data. Despite the strong practical and commercial interest in autonomous landing systems in the aerospace field, there is a lack of open-source datasets of aerial images. To address this issue, we present a dataset-lard-of high-quality aerial images for the task of runway detection during approach and landing phases. Most of the dataset is composed of synthetic images but we also provide manually labelled images from real landing footages, to extend the detection task to a more realistic setting. In addition, we offer the generator which can produce such synthetic front-view images and enables automatic annotation of the runway corners through geometric transformations. This dataset paves the way for further research such as the analysis of dataset quality or the development of models to cope with the detection tasks. Find data, code and more up-to-date information at https://github.com/deel-ai/LARD

研究动机与目标

• 解决自主飞机着陆中基于视觉的跑道检测缺乏开放且高质量数据集的问题。
• 开发一种可扩展的自动标注流水线，用于合成航拍图像，以降低人工标注成本。
• 将来自Google Earth Studio的合成图像与人工标注的真实着陆画面相结合，以提升真实感和模型泛化能力。
• 支持在不同机场、一天中不同时段及环境设置下，利用深度学习进行跑道检测研究。
• 提供一个可重用的开源生成器，用于创建具有精确自动标注的新跑道图像。

提出的方法

• 该数据集基于基于Google Earth Studio的合成图像生成器构建，可提供高保真度的跑道图像。
• 生成器使用跑道角点的WGS84坐标以及相机位姿（俯仰角、滚转角、偏航角、位置）来模拟逼真的航拍视角。
• 通过应用相机的外参矩阵和内参矩阵，将三维跑道角点投影到二维图像坐标，实现自动标注。
• 内参矩阵通过用户指定的图像尺寸和相机参数，定义为焦距、光学中心和视场角。
• 外参矩阵通过相机旋转（由俯仰角、滚转角、偏航角确定）和平移（由瞄准点和倾斜距离确定）计算得出。
• 该流水线支持无限生成图像，且标注一致准确，可实现跑道检测模型的可扩展基准测试。

实验结果

研究问题

• RQ1 基于几何自动标注的合成图像生成器能否生成适合自主着陆中跑道检测的逼真且多样的航拍图像？
• RQ2 将合成图像与人工标注的真实着陆画面结合，能在多大程度上提升跑道检测模型的真实感和鲁棒性？
• RQ3 通过投影矩阵实现自动标注，能在多大程度上降低标注成本，同时保持标注精度？
• RQ4 在不同环境条件（城市与乡村、一天中不同时段）下，对合成数据集中跑道检测性能有何影响？
• RQ5 所提出的数据集和生成器框架能否扩展至跑道以外的其他航拍目标检测任务？

主要发现

• LARD数据集包含103张人工标注的真实着陆图像，以及大量来自Google Earth Studio生成的合成图像，支持多样化的训练场景。
• 合成图像生成器能够生成高质量的正视跑道图像，其外观与真实飞行画面高度相似，视觉对比结果已得到验证。
• 通过外参和内参矩阵实现的自动标注，确保了所有生成图像中跑道角点的精确且可扩展的标注。
• 生成器支持按需创建具有新跑道和新相机位姿的图像，显著降低了数据采集与标注的成本。
• 该数据集支持在不同机场、光照条件和视角下对深度学习模型进行跑道检测的基准测试。
• 将真实画面与合成数据结合，增强了模型的泛化能力，并支持对真实世界性能的评估，尽管真实数据量有限。