[论文解读] Image Segmentation to Identify Safe Landing Zones for Unmanned Aerial Vehicles

Joe Kinahan, Alan F. Smeaton|arXiv (Cornell University)|Nov 29, 2021

Robotic Path Planning Algorithms被引用 5

一句话总结

本文提出一种轻量级语义图像分割模型，仅使用单个RGB摄像头图像，实现实时检测无人机安全着陆区域，最大限度减少机载能耗。通过在裁剪图像帧上进行高效推理，该模型在多样化环境中实现高精度；在公园环境中表现最佳，而在未在训练中见过的环境（如“西部荒野”场景）中表现较差，原因在于未见过的纹理和屋顶被误分类。

ABSTRACT

There is a marked increase in delivery services in urban areas, and with Jeff Bezos claiming that 86% of the orders that Amazon ships weigh less than 5 lbs, the time is ripe for investigation into economical methods of automating the final stage of the delivery process. With the advent of semi-autonomous drone delivery services, such as Irish startup `Manna', and Malta's `Skymax', the final step of the delivery journey remains the most difficult to automate. This paper investigates the use of simple images captured by a single RGB camera on a UAV to distinguish between safe and unsafe landing zones. We investigate semantic image segmentation frameworks as a way to identify safe landing zones and demonstrate the accuracy of lightweight models that minimise the number of sensors needed. By working with images rather than video we reduce the amount of energy needed to identify safe landing zones for a drone, without the need for human intervention.

研究动机与目标

• 开发一种节能、机载的无人机安全着陆区域识别方法，仅依赖单个RGB摄像头。
• 通过实现实时、本地的着陆区域适宜性评估，减少对GPS和外部数据的依赖。
• 通过轻量级深度学习模型最小化传感器数量和计算负载，以适应资源受限的无人机平台。
• 利用模拟着陆视频在多样化的真实世界类似环境中评估模型性能。
• 识别导致模型精度下降的环境因素，并提出数据增强策略。

提出的方法

• 作者使用基于轻量级U-Net的CNN架构进行语义分割，模型在各种着陆环境的合成RGB图像上进行训练。
• 通过裁剪图像以聚焦于感兴趣区域的中心部分，降低推理过程中的计算负载。
• 采用多类别分割方法，将像素分类为“安全”（如草地、路面等）或“不安全”（如障碍物、水面、屋顶等）。
• 在仿真环境中，对向下视角摄像头捕获的视频序列逐帧进行推理。
• 使用交并比（IoU）和误报率（FPR）评估模型性能，由于安全关键性，优先考虑FPR。
• 通过分析单帧图像而非处理视频，避免视频处理，降低能耗并实现实时运行。

Figure 1: Example aerial photo and its associated mask (top row) and two examples of aerial shots captured in two different environments from the AI Drone Simu game (bottom row) showing how realistic our test videos are.

实验结果

研究问题

• RQ1 仅使用单个RGB摄像头的轻量级语义分割模型，能否在无人机上准确检测安全着陆区域？
• RQ2 在机载推理中，如何平衡准确率与能效，以确定最优帧率和图像裁剪策略？
• RQ3 模型在不同真实世界类似环境中的表现如何，特别是在训练中未见过的环境中？
• RQ4 误报（将不安全区域误分类为安全区域）在着陆安全方面的影响有多大，如何将其最小化？
• RQ5 机载、基于帧的分割能否替代GPS和数字高程模型（DEMs），实现实时着陆区域验证？

主要发现

• 在公园环境中，模型达到最高的IoU和最低的FPR，其中树木和阴影等障碍物被正确分类。
• 在“西部荒野”环境中性能显著下降，原因在于未见过的灌木丛和尘土地形，以及将平坦屋顶错误分类为安全着陆区域。
• 在海滨环境中，从第5帧到第10帧之间，误报率急剧上升，因为波纹等表面细节变得可见，而在较低高度时检测性能有所改善。
• 在大面积无纹理表面（如平坦屋顶和水体）的环境中，模型表现较差，这些区域常被误分类为安全区域。
• 误报率（FPR）在“西部荒野”和海滨场景中最高，表明存在在不安全表面尝试着陆的更高风险。
• 模型在较低高度时精度显著提升，表明近距离更高分辨率、更具纹理的输入可增强分割的可靠性。

Figure 2: Projection of surface area of subsequent frames onto the initial mask