[论文解读] Adaptive Deep Pyramid Matching for Remote Sensing Scene Classification

Qingshan Liu, Renlong Hang+4 more|arXiv (Cornell University)|Nov 11, 2016

Remote-Sensing Image Classification参考文献 2被引用 23

一句话总结

本文提出自适应深度金字塔匹配（ADPM），一种基于CNN的新型遥感场景分类方法，通过数据驱动的权重自适应融合所有卷积层的特征，并利用空间金字塔池化整合多尺度输入。该方法实现了最先进性能，在19类卫星场景数据集上达到84.67%的准确率，显著优于先前方法，最高提升达8%。

ABSTRACT

Convolutional neural networks (CNNs) have attracted increasing attention in the remote sensing community. Most CNNs only take the last fully-connected layers as features for the classification of remotely sensed images, discarding the other convolutional layer features which may also be helpful for classification purposes. In this paper, we propose a new adaptive deep pyramid matching (ADPM) model that takes advantage of the features from all of the convolutional layers for remote sensing image classification. To this end, the optimal fusing weights for different convolutional layers are learned from the data itself. In remotely sensed scenes, the objects of interest exhibit different scales in distinct scenes, and even a single scene may contain objects with different sizes. To address this issue, we select the CNN with spatial pyramid pooling (SPP-net) as the basic deep network, and further construct a multi-scale ADPM model to learn complementary information from multi-scale images. Our experiments have been conducted using two widely used remote sensing image databases, and the results show that the proposed method significantly improves the performance when compared to other state-of-the-art methods.

研究动机与目标

• 为解决现有CNN仅使用最后全连接层特征、忽略潜在有用的早期卷积特征的问题。
• 克服CNN中固定输入尺寸的问题，该问题可能在遥感图像中损失具有区分性的多尺度信息。
• 通过数据驱动的自适应方法学习所有卷积层特征的最优融合权重，以提升分类性能。
• 通过多尺度集成策略，整合来自多个输入尺度的互补信息，增强特征表示。
• 在广泛使用的遥感数据集上，与最先进方法相比，验证所提方法的优越性。

提出的方法

• 该方法采用预训练的SPP-net作为主干网络，从所有卷积层提取分层卷积特征。
• 提出一种自适应融合机制，直接从数据中学习不同卷积层特征的最优融合权重，而非使用固定或启发式数值。
• 使用空间金字塔池化（SPP）模块，从每个卷积层提取多尺度特征，提升对尺度变化的鲁棒性。
• 采用多种输入尺度（227×227、256×256、384×384）生成多尺度特征表示，通过多数投票法融合结果。
• 应用金字塔匹配核，有效结合不同空间分辨率和卷积层的特征。
• 最终分类通过在线性SVM在融合的多尺度、多层特征上完成，并采用端到端训练以实现最优性能。

实验结果

研究问题

• RQ1 在CNN中自适应融合所有卷积层的特征，是否能超越仅使用最后全连接层特征，从而提升遥感场景分类性能？
• RQ2 所提出的ADPM模型在标准遥感场景分类基准上的性能，与最先进方法相比如何？
• RQ3 在使用自适应融合权重时，各卷积层对最终分类的贡献如何？
• RQ4 与单尺度输入相比，整合来自多个输入尺度的特征是否能显著提升分类准确率？
• RQ5 所提出的多尺度ADPM模型能否在具有不同目标尺寸和空间布局的多样化遥感场景中实现良好泛化？

主要发现

• 多尺度ADPM模型在19类卫星场景数据集上达到84.67%的分类准确率，优于最佳现有方法（SCMF）6.35个百分点。
• 单尺度ADPM模型（如ADPM-256达到83.71%）已超越所有先前最先进方法，包括SCMF（78.32%）和SSEP（73.82%）。
• 早期卷积层（如conv1）的贡献较小，因其特征仅捕捉边缘等低级模式，而深层卷积层（如conv5）贡献更显著。
• 自适应融合机制学习到有意义的权重：conv4权重最高，而conv3贡献较小，因其与conv4存在特征冗余。
• 多尺度ADPM在性能上持续优于单尺度版本，其中256×256输入取得最佳单尺度结果，且多尺度组合进一步提升准确率。
• 该方法在各类别上表现出强鲁棒性，尤其在住宅区和立交桥等困难类别上性能显著提升，如类别准确率对比所示。