[论文解读] Revisiting pre-trained remote sensing model benchmarks: resizing and normalization matters

Isaac Corley, Caleb Robinson+3 more|arXiv (Cornell University)|May 22, 2023

Remote-Sensing Image Classification被引用 6

一句话总结

本文表明，仅将遥感图像重新缩放并归一化以匹配ImageNet预训练所用的预处理方式——特别是224×224输入尺寸和ImageNet风格的归一化——即可在下游迁移学习任务中带来显著的性能提升。其主要贡献在于证明了当应用恰当的预处理时，ImageNet预训练仍是强大的基线模型，在多个基准测试中优于专门设计的自监督模型。

ABSTRACT

Research in self-supervised learning (SSL) with natural images has progressed rapidly in recent years and is now increasingly being applied to and benchmarked with datasets containing remotely sensed imagery. A common benchmark case is to evaluate SSL pre-trained model embeddings on datasets of remotely sensed imagery with small patch sizes, e.g., 32x32 pixels, whereas standard SSL pre-training takes place with larger patch sizes, e.g., 224x224. Furthermore, pre-training methods tend to use different image normalization preprocessing steps depending on the dataset. In this paper, we show, across seven satellite and aerial imagery datasets of varying resolution, that by simply following the preprocessing steps used in pre-training (precisely, image sizing and normalization methods), one can achieve significant performance improvements when evaluating the extracted features on downstream tasks -- an important detail overlooked in previous work in this space. We show that by following these steps, ImageNet pre-training remains a competitive baseline for satellite imagery based transfer learning tasks -- for example we find that these steps give +32.28 to overall accuracy on the So2Sat random split dataset and +11.16 on the EuroSAT dataset. Finally, we report comprehensive benchmark results with a variety of simple baseline methods for each of the seven datasets, forming an initial benchmark suite for remote sensing imagery.

研究动机与目标

• 研究输入图像重新缩放和归一化对遥感领域迁移学习性能的影响。
• 识别在将ImageNet预训练模型应用于小尺寸遥感图像数据集时，因预处理不匹配而被忽视的性能下降问题。
• 为未来的遥感自监督学习基准建立强大且简单的基线。
• 提供一个透明、可复现的基准套件，涵盖七个多样化的遥感数据集，并采用标准化的评估协议。

提出的方法

• 将原始尺寸较小的输入图像（例如32×32、64×64）重新缩放为224×224，以匹配ImageNet预训练所用的输入尺寸。
• 应用ImageNet风格的归一化：先进行min-max缩放至[0,1]，再使用ImageNet的均值和标准差进行通道独立标准化。
• 使用K近邻（KNN）和线性探测在七个遥感数据集上评估从ImageNet预训练的ResNet-50和视觉Transformer模型中提取的特征。
• 与多种基线模型进行比较，包括随机卷积特征（RCF）、图像统计特征，以及最先进的自监督模型如MOSAIKS和Scale-MAE。
• 通过一致的预处理、模型架构和评估协议，在所有数据集上实现标准化评估，以确保公平比较。
• 报告多个划分结果（例如So2Sat中的随机划分和文化相关划分），以评估泛化能力和鲁棒性。

Figure 1: Difference in downstream task metrics, Overall Accuracy (OA) (multiclass) or mean Average Precision (mAP) (multilabel), after resizing images to 224 × 224 from the original, smaller, image size. ImageNet pre-trained models, for example, often are trained with 224 x 224 inputs and therefore

实验结果

研究问题

• RQ1 当使用ImageNet预训练模型时，将小尺寸遥感图像（如32×32或64×64）重新缩放为224×224是否能提升下游迁移学习性能？
• RQ2 与数据集特定的归一化相比，使用ImageNet风格的归一化（min-max + 通道独立标准化）在多大程度上提升了特征质量？
• RQ3 在遥感基准测试中，简单的基线方法（如ImageNet预训练、RCF和图像统计）与最先进的自监督学习模型相比表现如何？
• RQ4 为何某些遥感数据集在向RGB输入添加多光谱波段后性能反而下降？这种现象在预训练模型和随机模型之间有何差异？
• RQ5 在遥感迁移学习中，KNN是否比线性探测更可靠地评估表示质量？

主要发现

• 将图像从64×64重新缩放至224×224后，ResNet-50在EuroSAT上的准确率从0.82提升至0.91，实现了9.1%的绝对性能增益。
• 在重新缩放后应用ImageNet归一化，EuroSAT上的准确率从0.66提升至0.91，表明归一化的影响与重新缩放相当。
• ImageNet预训练在So2Sat随机划分上优于专门设计的自监督模型SSL4EO MoCo-v2，整体准确率提升了+32.28%。
• 图像统计基线在除一个多光谱数据集外的所有数据集中均优于ImageNet预训练，在最差数据集上仅低0.25%。
• 在SAT-6上，除随机初始化外所有方法的准确率均超过99%，表明该数据集过于简单，难以进行有意义的比较。
• MOSAIKS（带经验权重的RCF）在五个多光谱数据集中的四个中排名前二，优于ImageNet和遥感领域自监督模型。

Figure 2: The effect of input image size on EuroSAT downstream performance (overall accuracy) across different ResNet models. By default, EuroSAT images are 64 × 64 pixels, however resizing to larger image sizes before embedding increases downstream accuracy under a KNN ( $k=5$ ) classification mode