[论文解读] Exploiting Deep Features for Remote Sensing Image Retrieval: A Systematic Investigation

Xinyi Tong, Gui-Song Xia+4 more|arXiv (Cornell University)|Jul 23, 2017

Advanced Image and Video Retrieval Techniques参考文献 154被引用 35

一句话总结

本文系统研究了高分辨率遥感（HRRS）图像检索中的深度特征提取，优化了网络架构、特征池化、尺度和降维等因子。通过微调GoogLeNet并结合多块池化与PCA压缩，该方法在UCM数据集上实现了0.285的ANMRR，达到当前最优性能，同时显著降低了特征维度。

ABSTRACT

Remote sensing (RS) image retrieval is of great significant for geological information mining. Over the past two decades, a large amount of research on this task has been carried out, which mainly focuses on the following three core issues: feature extraction, similarity metric and relevance feedback. Due to the complexity and multiformity of ground objects in high-resolution remote sensing (HRRS) images, there is still room for improvement in the current retrieval approaches. In this paper, we analyze the three core issues of RS image retrieval and provide a comprehensive review on existing methods. Furthermore, for the goal to advance the state-of-the-art in HRRS image retrieval, we focus on the feature extraction issue and delve how to use powerful deep representations to address this task. We conduct systematic investigation on evaluating correlative factors that may affect the performance of deep features. By optimizing each factor, we acquire remarkable retrieval results on publicly available HRRS datasets. Finally, we explain the experimental phenomenon in detail and draw conclusions according to our analysis. Our work can serve as a guiding role for the research of content-based RS image retrieval.

研究动机与目标

• 为解决由于尺度、方向和光照变化导致手工设计特征在高分辨率遥感（HRRS）图像检索中的局限性。
• 系统研究并优化影响HRRS图像检索中深度特征性能的关键因素，包括网络架构、特征池化、尺度和降维。
• 利用从预训练CNN中提取的优化深度特征，在公开的HRRS数据集上实现最先进的检索性能。
• 提供对影响因素的全面分析，为基于内容的遥感图像检索研究提供指导。

提出的方法

• 在HRRS数据集上微调GoogLeNet，以使预训练特征适应遥感数据。
• 从微调网络的中间层（如avg_pool、inception(5b)）提取深度特征，以提升表征能力。
• 通过从每张图像中裁剪20个子块（224×224）并采用最大池化、平均池化或混合池化方式聚合特征，实现多块池化。
• 利用主成分分析（PCA）将高维特征（如IFK生成的204800D）压缩至32维，实现高效且紧凑的表征。
• 在压缩后的特征上评估多种相似性度量（欧氏距离、余弦相似度、曼哈顿距离、χ²），以确定最优距离度量。
• 结合多尺度输入与多块池化策略，提升特征的鲁棒性与判别能力。

实验结果

研究问题

• RQ1 不同CNN架构与微调策略如何影响HRRS图像检索中深度特征的性能？
• RQ2 特征聚合的最优策略是什么——单尺度与多尺度，或单块与多块池化？
• RQ3 通过PCA进行降维如何影响检索准确率与计算效率？
• RQ4 在深度特征上，哪种相似性度量（欧氏距离、余弦相似度、曼哈顿距离、χ²）能实现最佳检索性能？
• RQ5 不同特征提取策略与现有SOTA方法在公开HRRS基准上的表现如何比较？

主要发现

• 多块池化结合平均池化在RS19（76.80）和UCM（64.56）上均取得了最高的MAP，优于单块与多尺度方法。
• 微调GoogLeNet、多块池化与PCA压缩至32维的组合在UCM上实现了最佳整体性能，ANMRR达到0.285。
• 多尺度拼接在UCM上性能下降（MAP降至38.49），表明在面向对象的数据集中，尺度多样性可能降低判别能力。
• 所提方法在准确率上优于先前基于CNN的方法，相较于近期方法[75]在ANMRR上提升了1.4%。
• PCA压缩将特征维度从1000降至32，同时保持高性能，显著降低计算成本。
• χ²距离度量因非负约束无法应用于PCA压缩后的特征，限制了其在低维设置下的使用。