[论文解读] Mapping Temporary Slums from Satellite Imagery using a Semi-Supervised Approach

Mohibur Rehman, Izza Aftab+2 more|arXiv (Cornell University)|Apr 9, 2022

Remote-Sensing Image Classification参考文献 19被引用 20

一句话总结

本文提出了一种半监督深度学习框架，通过极少的标注种子数据，自动检测卫星图像中的临时贫民窟。该方法利用城市结构随时间的变化来识别初始种子图像，通过嵌入相似性与伪标签技术，迭代选择高置信度的未标注图像，最终在涵盖12个巴基斯坦城市的2.28 km²新数据集上，相较于半监督基线模型提升1.9倍，相较于监督基线模型提升1.8倍。

ABSTRACT

One billion people worldwide are estimated to be living in slums, and documenting and analyzing these regions is a challenging task. As compared to regular slums; the small, scattered and temporary nature of temporary slums makes data collection and labeling tedious and time-consuming. To tackle this challenging problem of temporary slums detection, we present a semi-supervised deep learning segmentation-based approach; with the strategy to detect initial seed images in the zero-labeled data settings. A small set of seed samples (32 in our case) are automatically discovered by analyzing the temporal changes, which are manually labeled to train a segmentation and representation learning module. The segmentation module gathers high dimensional image representations, and the representation learning module transforms image representations into embedding vectors. After that, a scoring module uses the embedding vectors to sample images from a large pool of unlabeled images and generates pseudo-labels for the sampled images. These sampled images with their pseudo-labels are added to the training set to update the segmentation and representation learning modules iteratively. To analyze the effectiveness of our technique, we construct a large geographically marked dataset of temporary slums. This dataset constitutes more than 200 potential temporary slum locations (2.28 square kilometers) found by sieving sixty-eight thousand images from 12 metropolitan cities of Pakistan covering 8000 square kilometers. Furthermore, our proposed method outperforms several competitive semi-supervised semantic segmentation baselines on a similar setting. The code and the dataset will be made publicly available.

研究动机与目标

• 解决因缺乏标注数据与地理信息而导致的小型、零散且临时性贫民窟检测难题。
• 开发一种方法，仅依赖卫星图像中的时间变化，从零标注数据出发启动检测。
• 构建一个覆盖巴基斯坦12个大都市区的大型、地理标记的临时贫民窟数据集。
• 在资源有限的环境中，通过极少的人工标注，实现可扩展、自动化的临时贫民窟检测。

提出的方法

• 利用卫星图像中的时间一致性，自动识别包含临时贫民窟的一小批初始种子图像。
• 基于初始种子数据，训练一个U-Net架构的分割模型与一个64维嵌入模型。
• 通过计算已标注与未标注图像嵌入之间的余弦相似度，对图像进行打分并选择最相似的图像进行伪标签生成。
• 应用像素级过滤：对预测贫民窟区域占比低于5%或高于5%的非贫民窟图像予以剔除，以保证质量。
• 将高置信度的伪标签图像迭代加入训练集，并重新训练分割与嵌入模型。
• 当扩展后的训练集中贫民窟与非贫民窟图像的比例与初始比例一致时，停止迭代，以确保学习过程的平衡性。

实验结果

研究问题

• RQ1 在初始标注数据极少的情况下，半监督方法能否有效检测临时贫民窟？
• RQ2 如何利用卫星图像中的时间变化来发现用于贫民窟检测的初始种子图像？
• RQ3 在低数据环境下，所提方法相较于现有半监督与监督基线模型的性能提升如何？
• RQ4 该框架是否可泛化至其他城市区域，且仅需极少调整？
• RQ5 基于嵌入相似性的迭代伪标签策略，在提升分割精度方面效果如何？

主要发现

• 所提方法实现平均交并比（mIoU）为0.33，优于监督基线模型（mIoU 0.17），提升1.8倍。
• 相较于Cutmix、Cutout、ICT与VAT等先进半监督基线方法，该方法在mIoU上实现1.9倍的提升。
• 消融实验表明，K=30时性能最佳（mIoU=0.33），而K=50与K=100时mIoU略低。
• 该方法成功从未标注图像池（共3938张图像）中识别出345张贫民窟图像，经迭代优化后达到目标贫民窟与非贫民窟比例。
• 该框架可实现从零数据集场景启动检测，仅需32张人工标注的种子图像即可启动整个流程。
• 所构建的数据集覆盖巴基斯坦12个大都市区共2.28 km²，为未来研究提供了宝贵的基准数据。