[论文解读] In-domain representation learning for remote sensing

Maxim Neumann, André Susano Pinto+2 more|arXiv (Cornell University)|Nov 15, 2019

Remote-Sensing Image Classification参考文献 31被引用 34

一句话总结

该论文训练使用五个遥感数据集来研究领域内表征学习，结果表明对领域内表征进行微调在多任务上获得了最先进的结果，特别是在标注数据有限的情况下。

ABSTRACT

Given the importance of remote sensing, surprisingly little attention has been paid to it by the representation learning community. To address it and to establish baselines and a common evaluation protocol in this domain, we provide simplified access to 5 diverse remote sensing datasets in a standardized form. Specifically, we investigate in-domain representation learning to develop generic remote sensing representations and explore which characteristics are important for a dataset to be a good source for remote sensing representation learning. The established baselines achieve state-of-the-art performance on these datasets.

研究动机与目标

• 通过领域内有监督微调来开发通用的遥感表示。
• 提供对五个不同遥感数据集的标准化访问。
• 建立共同的评估协议和用于基准测试的强基线。

提出的方法

• 在 TensorFlow Datasets 中标准化五个遥感数据集，固定的训练/验证/测试划分。
• 在所有实验中使用 ResNet-50 v2 作为骨干网络以实现公平比较。
• 比较领域内表示的迁移性能与 ImageNet 预训练和从头训练模型在不同下游数据规模下的差异。
• 使用多类任务的 top-1 准确率和多标签任务的均值平均精度来评估，汇总时对对数化后的准确率进行聚合。
• 分析哪些数据集特征（如多样性、标签质量）会影响表示学习的效果。

实验结果

研究问题

• RQ1 领域内有监督微调是否能产生比 ImageNet 预训练或从头训练更具可迁移性的遥感表示？
• RQ2 考虑数据规模、多样性和标签质量，不同遥感数据集作为学习通用表示的来源如何？
• RQ3 在将领域内表示迁移到具有有限标注数据的未见遥感任务时，会带来哪些下游性能提升？

主要发现

• 领域内表示在迁移到未见遥感任务时通常优于 ImageNet 基线，尤其是在下游数据预算较小时。
• RESISC-45 作为通用表示的来源在机载与卫星数据上表现特别有效，而 BigEarthNet 与 So2Sat 有时因标签较弱而落后。
• 在 Evaluated 的 5 个数据集中的 4 个数据集上，微调领域内表示始终带来最佳的下游性能，只有一个例外（BigEarthNet 在全部数据下）。
• 更大但标注较弱的数据集并不总是优于较小、多样、人工筛选的数据集在表示学习上的表现。
• 多分辨率数据集以及标签质量/多样性因素显著影响学到的表示的质量。