[论文解读] Aerial Imagery Pixel-level Segmentation

Michael R. Heffels, Joaquin Vanschoren|TU/e Research Portal|Dec 3, 2020

Advanced Neural Network Applications参考文献 18被引用 7

一句话总结

该论文提出了一种用于航空影像像素级语义分割的最先进方法，采用DeepLabv3+ Xception65架构，并通过数据增强、归一化和损失函数选择进行优化。在DroneDeploy验证集上实现了69.9%的平均交并比（mIOU），并在测试集上建立了52.5% mIOU的新基准，显著优于以往工作。

ABSTRACT

Aerial imagery can be used for important work on a global scale. Nevertheless, the analysis of this data using neural network architectures lags behind the current state-of-the-art on popular datasets such as PASCAL VOC, CityScapes and Camvid. In this paper we bridge the performance-gap between these popular datasets and aerial imagery data. Little work is done on aerial imagery with state-of-the-art neural network architectures in a multi-class setting. Our experiments concerning data augmentation, normalisation, image size and loss functions give insight into a high performance setup for aerial imagery segmentation datasets. Our work, using the state-of-the-art DeepLabv3+ Xception65 architecture, achieves a mean IOU of 70% on the DroneDeploy validation set. With this result, we clearly outperform the current publicly available state-of-the-art validation set mIOU (65%) performance with 5%. Furthermore, to our knowledge, there is no mIOU benchmark for the test set. Hence, we also propose a new benchmark on the DroneDeploy test set using the best performing DeepLabv3+ Xception65 architecture, with a mIOU score of 52.5%.

研究动机与目标

• 弥合非航空数据集上的最先进语义分割与航空影像之间在性能上的差距。
• 识别多类别航空影像语义分割中神经网络架构的最优配置。
• 为DroneDeploy测试集建立一个公开可用的新基准，此前该数据集缺乏标准化的mIOU评估。
• 研究数据增强、归一化、图像尺寸和损失函数对分割性能的影响。
• 为未来航空影像语义分割研究提供可复现的高性能基线。

提出的方法

• 采用DeepLabv3+ Xception65架构作为语义分割的主要模型。
• 应用数据增强技术，包括随机水平翻转和颜色抖动，以提高模型鲁棒性和泛化能力。
• 使用批量归一化并将图像调整为500×500像素，以优化训练稳定性和分辨率。
• 评估多种损失函数，包括标准交叉熵损失和焦点损失，后者表现出更优性能。
• 对TensorFlow的DeepLabv3+代码库和DroneDeploy数据集处理流程进行适配，以支持自定义训练和推理。
• 在fastai和Keras U-Net基线中实现自定义焦点损失函数，用于对比分析。

实验结果

研究问题

• RQ1 如何将最先进神经网络架构适配以在航空影像分割上实现优于现有基准的更高性能？
• RQ2 哪些数据增强、归一化和损失函数策略最有效地提升航空影像分割任务的mIOU？
• RQ3 在缺乏公开基准的情况下，当前模型在DroneDeploy测试集上的真实性能如何？
• RQ4 能否为未来航空影像分割研究建立一个标准化且高性能的基线？
• RQ5 架构选择（如编码器类型，例如ResNet50）和输入分辨率如何影响分割精度？

主要发现

• DeepLabv3+ Xception65模型在DroneDeploy验证集上实现了69.9%的mIOU，比之前SOTA高出5个百分点。
• 所提出的基准在DroneDeploy测试集上实现了52.5%的mIOU，这是该划分首次公开报告的mIOU分数。
• 数据增强、批量归一化以及ResNet50编码器在所有实验中均一致提升了模型性能。
• 超过5%的缩放增强、500×500像素的图像块大小以及交替焦点损失未带来一致的性能提升。
• 使用16位辐射度分辨率数据并进行适当的归一化，对处理高动态范围航空影像至关重要。
• 本研究证明，架构选择和训练协议对性能有显著影响，其中Xception65在此设置下优于其他编码器。