[论文解读] Geographical Knowledge-driven Representation Learning for Remote Sensing Images

Wenyuan Li, Keyan Chen+2 more|arXiv (Cornell University)|Jul 12, 2021

Remote-Sensing Image Classification参考文献 73被引用 73

一句话总结

该论文提出GeoKR，一种基于地理知识的遥感图像表示学习方法，利用GlobeLand30土地覆盖数据和地理位置作为弱监督信号，对深度网络进行预训练。通过采用均值教师（mean teacher）框架缓解分辨率和成像时间不匹配带来的噪声，GeoKR在下游任务（如场景分类、语义分割和云/雪检测）中达到最先进性能，显著减少标注需求——在仅使用ImageNet预训练和自监督方法约50%的标注数据时仍表现更优。

ABSTRACT

The proliferation of remote sensing satellites has resulted in a massive amount of remote sensing images. However, due to human and material resource constraints, the vast majority of remote sensing images remain unlabeled. As a result, it cannot be applied to currently available deep learning methods. To fully utilize the remaining unlabeled images, we propose a Geographical Knowledge-driven Representation learning method for remote sensing images (GeoKR), improving network performance and reduce the demand for annotated data. The global land cover products and geographical location associated with each remote sensing image are regarded as geographical knowledge to provide supervision for representation learning and network pre-training. An efficient pre-training framework is proposed to eliminate the supervision noises caused by imaging times and resolutions difference between remote sensing images and geographical knowledge. A large scale pre-training dataset Levir-KR is proposed to support network pre-training. It contains 1,431,950 remote sensing images from Gaofen series satellites with various resolutions. Experimental results demonstrate that our proposed method outperforms ImageNet pre-training and self-supervised representation learning methods and significantly reduces the burden of data annotation on downstream tasks such as scene classification, semantic segmentation, object detection, and cloud / snow detection. It demonstrates that our proposed method can be used as a novel paradigm for pre-training neural networks. Codes will be available on https://github.com/flyakon/Geographical-Knowledge-driven-Representaion-Learning.

研究动机与目标

• 通过利用数百万张未标注图像，解决遥感数据标注稀缺的问题。
• 提升深度学习在下游任务（如场景分类、语义分割、目标检测和云/雪检测）中的性能。
• 通过将地理知识作为弱监督用于预训练，减轻标注负担。
• 开发一种稳健的预训练框架，以缓解遥感图像与地理知识之间因空间分辨率和成像时间差异导致的噪声。

提出的方法

• 使用GlobeLand30全球土地覆盖产品和地理坐标作为地理知识，生成监督信号。
• 通过将土地覆盖类型映射到嵌入向量来构建知识表征，用于监督训练。
• 采用双网络架构（学生网络与教师网络）并结合权重平均策略，以稳定训练并减少图像-知识不匹配带来的噪声。
• 在预训练过程中，应用KL散度损失将图像表征与知识表征对齐。
• 通过教师网络引入对比学习策略，以提升特征的泛化能力和鲁棒性。
• 构建了Levir-KR数据集，包含1,431,950幅高分卫星图像，覆盖多种分辨率，用于预训练。

实验结果

研究问题

• RQ1 地理知识（如土地覆盖和地理位置）能否有效用于遥感图像的表示学习监督？
• RQ2 在预训练过程中，如何缓解遥感图像与地理知识之间因空间分辨率和成像时间差异带来的噪声？
• RQ3 GeoKR在多大程度上可减少下游遥感任务对标注数据的需求？
• RQ4 GeoKR在下游性能上是否优于ImageNet预训练和自监督学习方法？

主要发现

• GeoKR在所有下游任务（包括场景分类、语义分割、目标检测和云/雪检测）中均优于ImageNet预训练和自监督方法（MoCo、SimCLR、BYOL）。
• 在RSSCN7数据集上，GeoKR（ResNet50）使用100%训练数据时达到94.19%的准确率，较基线提升超过2%。
• 在Vaihingen数据集的语义分割任务中，GeoKR（ResNet50）使用100%数据时达到72.68%的准确率，较基线提升2.5%。
• 仅使用20%的训练数据，GeoKR在场景分类任务中的性能即可媲美使用100%数据的ImageNet预训练方法，实现标注需求减半。
• 在雪检测任务中，使用有限数据时，GeoKR性能提升超过10%，展现出强大的数据效率。
• 消融实验表明，教师网络和知识表征是关键组件，其中教师模型表现最佳。