[论文解读] Learning Multi-Scale Deep Features for High-Resolution Satellite Image Classification

Qingshan Liu, Renlong Hang+2 more|arXiv (Cornell University)|Nov 11, 2016

Remote-Sensing Image Classification参考文献 26被引用 16

一句话总结

该论文提出了一种用于高分辨率卫星图像分类的多尺度深度特征学习框架，结合空间金字塔池化网络（SPP-net）与多核学习（MKL）。通过利用跨多尺度的预训练深度特征，并采用MKL进行特征融合，该方法在仅每类5个训练样本的情况下，实现了85.22%（±1.22）的总体准确率（OA）和95.07%（±0.79）的F1得分，达到当前最先进水平。

ABSTRACT

In this paper, we propose a multi-scale deep feature learning method for high-resolution satellite image classification. Specifically, we firstly warp the original satellite image into multiple different scales. The images in each scale are employed to train a deep convolutional neural network (DCNN). However, simultaneously training multiple DCNNs is time-consuming. To address this issue, we explore DCNN with spatial pyramid pooling (SPP-net). Since different SPP-nets have the same number of parameters, which share the identical initial values, and only fine-tuning the parameters in fully-connected layers ensures the effectiveness of each network, thereby greatly accelerating the training process. Then, the multi-scale satellite images are fed into their corresponding SPP-nets respectively to extract multi-scale deep features. Finally, a multiple kernel learning method is developed to automatically learn the optimal combination of such features. Experiments on two difficult datasets show that the proposed method achieves favorable performance compared to other state-of-the-art methods.

研究动机与目标

• 解决在训练样本有限且场景变化复杂的情况下对高分辨率卫星图像进行分类的挑战。
• 克服手工设计特征与浅层模型在捕捉高分辨率图像中判别性语义信息方面的局限性。
• 开发一种高效的训练策略，以较低计算成本同时学习多尺度深度特征。
• 通过自适应学习机制融合多尺度深度特征，提升分类性能。
• 在最小化训练数据的前提下，于基准卫星图像数据集上实现最先进结果。

提出的方法

• 将原始卫星图像缩放为多个尺度（如192×192、256×256），以捕捉多尺度上下文信息。
• 采用SPP-net架构，使用在ImageNet上预训练的共享卷积层，并在卫星数据上进行微调，以降低训练成本。
• 从conv5层提取深度特征，并结合空间金字塔池化（SPP）以编码多感受野信息。
• 应用多核学习（MKL）自动学习多尺度特征的最优融合权重。
• 仅对每个尺度的SPP-net微调全连接层，以保持参数效率并加速训练。
• 通过使用ImageNet预训练的卷积权重初始化SPP-net，利用迁移学习提升小样本数据下的泛化能力。

实验结果

研究问题

• RQ1 与单尺度或手工设计特征相比，多尺度深度特征是否能显著提升高分辨率卫星图像的分类准确率？
• RQ2 采用共享卷积层并微调全连接层的SPP-net在降低训练成本的同时，是否能有效维持性能？
• RQ3 多核学习（MKL）在融合多尺度深度特征时，是否优于简单的平均化或投票策略？
• RQ4 在仅每类5–25个训练样本的低样本学习条件下，该方法表现如何？
• RQ5 迁移学习与多尺度特征融合的结合能否在标准卫星图像基准数据集中实现最先进性能？

主要发现

• 所提出的SPP-net+MKL方法在19类卫星场景数据集上，仅使用每类5个训练样本，即实现了85.22%的总体准确率（±1.22）和95.07%的F1得分（±0.79）。
• 在低样本条件下，该方法显著优于先前最先进方法，如SSEP（73.82%）和SCMF（78.32%）。
• 通过MKL实现的多尺度特征融合相比单尺度或简单投票（SV）融合，带来显著性能提升，总体准确率较SV高出4.3%。
• conv5+spp特征表示在所有特征层中表现最佳，证实其在捕捉判别性多尺度模式方面的有效性。
• 当每类有25个训练样本时，该方法在大多数类别上达到近乎完美的性能，仅因类别间模糊性（如港口与森林）导致少量误分类。
• 混淆矩阵显示，随着训练样本数量增加，性能显著提升，证实该方法在低数据场景下的有效性。