[论文解读] Land Use Classification in Remote Sensing Images by Convolutional Neural Networks

Marco Castelluccio, Giovanni Poggi+2 more|arXiv (Cornell University)|Aug 1, 2015

Remote-Sensing Image Classification参考文献 41被引用 484

一句话总结

本文提出使用预训练并微调的卷积神经网络（CNNs）进行遥感图像中的土地利用分类，相较于最先进方法表现出显著的性能提升。在UC-Merced数据集上，该方法相比最佳先前结果提升了3%；在巴西咖啡场景数据集上，性能较以往基于CNN的方法高出近5%。

ABSTRACT

We explore the use of convolutional neural networks for the semantic classification of remote sensing scenes. Two recently proposed architectures, CaffeNet and GoogLeNet, are adopted, with three different learning modalities. Besides conventional training from scratch, we resort to pre-trained networks that are only fine-tuned on the target data, so as to avoid overfitting problems and reduce design time. Experiments on two remote sensing datasets, with markedly different characteristics, testify on the effectiveness and wide applicability of the proposed solution, which guarantees a significant performance improvement over all state-of-the-art references.

研究动机与目标

• 解决遥感场景分类中类内差异大、类间距离小的挑战。
• 评估深度CNN（特别是CaffeNet和GoogLeNet）在遥感语义土地利用分类中的有效性。
• 在多种遥感数据集上比较不同训练策略——从零开始训练、微调预训练网络、以及将CNN用作特征提取器——的性能表现。
• 评估预训练CNN在目标数据与ImageNet（预训练来源）存在显著差异时的鲁棒性。
• 为未来基于深度学习的遥感场景分类建立一个强有力的基线。

提出的方法

• 采用两种最先进CNN架构：CaffeNet和GoogLeNet，均在ImageNet上预训练以实现迁移学习。
• 采用三种训练模式：从零开始训练、微调预训练网络（更新多层）、以及将最后一层全连接层作为固定特征向量使用。
• 应用数据增强和学习率调度策略，以提升训练过程中的收敛速度与泛化能力。
• 在巴西咖啡场景数据集上采用五折交叉验证策略，以确保评估的平衡性。
• 采用标准分类指标（包括准确率）对比不同方法的性能表现。
• 通过降低初始学习率，更新全部或部分层，对网络进行微调，以使特征适应目标遥感数据。

实验结果

研究问题

• RQ1 预训练CNN（如CaffeNet和GoogLeNet）在遥感场景分类任务中是否能优于传统手工设计的描述符？
• RQ2 在有限的遥感数据集上，与从零开始训练相比，微调预训练网络在准确率和鲁棒性方面表现如何？
• RQ3 当目标数据（如非光学、SAR类）与ImageNet存在显著差异时，领域偏移对预训练CNN性能有何影响？
• RQ4 将CNN作为固定特征提取器（即仅使用倒数第二层）是否能获得与端到端微调相当的性能？
• RQ5 所提出的方法在类内差异较大的数据集（如巴西咖啡场景数据集）上的表现如何？

主要发现

• 在UC-Merced数据集上，使用从零开始训练的GoogLeNet，该方法达到了91.83%的分类准确率，较最佳参考方法高出近3%。
• 微调预训练网络在CaffeNet上取得了90.94%的准确率，表明即使在数据有限的情况下仍具有强大性能。
• 在巴西咖啡场景数据集上，从零开始训练的GoogLeNet达到了91.83%的准确率，较文献[8]中报告的最佳先前结果高出5%。
• 特征向量方法（将CNN作为固定描述符使用）在巴西数据集上表现显著较差（CaffeNet为85.02%），表明当领域偏移较大时，特征迁移能力有限。
• 微调方法优于特征提取方法，尤其在目标数据与ImageNet在成像模式和分布上存在差异时更为明显。
• 尽管存在较高的类内差异和具有挑战性的成像条件，该方法在巴西咖啡场景数据集上仍达到了接近92%的准确率，证实了其鲁棒性与可扩展性。