[论文解读] Semi-Supervised Classification and Segmentation on High Resolution Aerial Images

Sahil Khose, Abhiraj Tiwari+1 more|arXiv (Cornell University)|May 16, 2021

Advanced Neural Network Applications参考文献 13被引用 6

一句话总结

本论文提出了一种半监督学习方法，用于在FloodNet数据集的高分辨率航拍图像上进行图像分类与语义分割，采用渐进式损失加权的伪标签策略。通过利用1,047张未标注图像与398张标注图像，该方法提升了模型泛化能力，在语义分割任务上相比监督基线模型实现了0.19%的MIoU提升，展现出在标注数据有限情况下的优异性能。

ABSTRACT

FloodNet is a high-resolution image dataset acquired by a small UAV platform, DJI Mavic Pro quadcopters, after Hurricane Harvey. The dataset presents a unique challenge of advancing the damage assessment process for post-disaster scenarios using unlabeled and limited labeled dataset. We propose a solution to address their classification and semantic segmentation challenge. We approach this problem by generating pseudo labels for both classification and segmentation during training and slowly incrementing the amount by which the pseudo label loss affects the final loss. Using this semi-supervised method of training helped us improve our baseline supervised loss by a huge margin for classification, allowing the model to generalize and perform better on the validation and test splits of the dataset. In this paper, we compare and contrast the various methods and models for image classification and semantic segmentation on the FloodNet dataset.

研究动机与目标

• 解决灾后航拍图像分析中标签数据有限与类别严重不平衡的挑战。
• 通过半监督学习提升高分辨率航拍图像上的分类与语义分割性能。
• 利用FloodNet数据集中丰富的未标注数据，提升模型泛化能力，超越监督基线表现。
• 通过渐进式伪标签与损失加权策略优化模型性能。
• 在半监督训练下评估最先进模型架构（ResNet、EfficientNet、UNet、PSPNet、DeepLabV3+）的表现。

提出的方法

• 在训练过程中，利用模型预测中置信度最高的结果为未标注图像生成伪标签。
• 在训练周期内，逐步将伪标签损失对总损失的影响从初始值α_i提升至最终值α_f。
• 采用二元交叉熵（BCE）与Dice损失的加权组合进行分割，以提升边界分割精度。
• 应用数据增强技术，包括随机裁剪、翻转、旋转、缩放和亮度对比度调整，以增强模型鲁棒性。
• 将图像下采样至300×400用于分类任务，512×512用于分割任务，以在计算效率与特征保留之间取得平衡。
• 初始使用Adam优化器训练模型，当引入伪标签后切换为SGD优化器，学习率设为0.01。

实验结果

研究问题

• RQ1 在标注数据有限的高分辨率航拍图像上，采用渐进式损失加权的伪标签方法是否能显著提升半监督分类性能？
• RQ2 通过伪标签整合未标注数据，对FloodNet数据集上的语义分割性能有何影响？
• RQ3 在半监督训练下，哪种深度学习架构（UNet、PSPNet、DeepLabV3+）在航拍图像分割任务中表现最佳？
• RQ4 数据增强与类别平衡采样在多大程度上可缓解灾后图像分析中严重的类别不平衡问题？
• RQ5 使用更高效的主干网络（如EfficientNet-B3）是否能提升半监督语义分割任务的性能？

主要发现

• 该半监督方法在分类任务上显著优于监督基线模型，提升了验证集与测试集上的泛化能力。
• 表现最佳的分割模型为采用EfficientNet-B3主干的DeepLabV3+，在使用伪标签数据时，平均交并比（MIoU）提升了0.19%。
• 小型物体（如车辆、水池）对所有模型而言均最具挑战性，表明在细粒度分割方面仍存在局限。
• BCE与Dice损失采用相等权重时，分割结果最佳，预测结果在视觉上更清晰。
• 采用渐进式损失加权的伪标签策略带来了稳定且持续的性能提升，尤其在处理大规模未标注数据时效果显著。
• 尽管存在计算资源限制，仍采用1:10的未标注数据随机采样比例，取得了可测量的性能提升，表明全面利用未标注数据具有巨大潜力。