[论文解读] Deep Hashing Learning for Visual and Semantic Retrieval of Remote Sensing Images

Weiwei Song, Shutao Li+1 more|arXiv (Cornell University)|Sep 10, 2019

Advanced Image and Video Retrieval Techniques参考文献 48被引用 5

一句话总结

本文提出了一种统一的深度哈希卷积神经网络（DHCNN），用于遥感图像的联合视觉与语义检索。通过在一个端到端的统一框架中集成用于紧凑二进制编码的哈希层以及具备Softmax功能的全连接层以实现语义分类，该方法在检索准确率（mAP）和分类准确率（OA）方面均达到当前最优性能，在UCMD和AID数据集上的准确率分别达到97.68%和93.48%。

ABSTRACT

Driven by the urgent demand for managing remote sensing big data, large-scale remote sensing image retrieval (RSIR) attracts increasing attention in the remote sensing field. In general, existing retrieval methods can be regarded as visual-based retrieval approaches which search and return a set of similar images from a database to a given query image. Although retrieval methods have achieved great success, there is still a question that needs to be responded to: Can we obtain the accurate semantic labels of the returned similar images to further help analyzing and processing imagery? Inspired by the above question, in this paper, we redefine the image retrieval problem as visual and semantic retrieval of images. Specifically, we propose a novel deep hashing convolutional neural network (DHCNN) to simultaneously retrieve the similar images and classify their semantic labels in a unified framework. In more detail, a convolutional neural network (CNN) is used to extract high-dimensional deep features. Then, a hash layer is perfectly inserted into the network to transfer the deep features into compact hash codes. In addition, a fully connected layer with a softmax function is performed on hash layer to generate class distribution. Finally, a loss function is elaborately designed to simultaneously consider the label loss of each image and similarity loss of pairs of images. Experimental results on two remote sensing datasets demonstrate that the proposed method achieves the state-of-art retrieval and classification performance.

研究动机与目标

• 为解决现有遥感图像检索方法仅返回相似图像而无语义标签的局限性。
• 将视觉检索与语义分类统一于单一深度学习框架中，以提升分析实用性。
• 设计一种损失函数，联合优化图像相似性与语义标签准确率。
• 通过紧凑的二进制哈希码实现实时高效检索，同时保持高层次的语义理解能力。

提出的方法

• 使用预训练的CNN从原始遥感图像中提取高维深度特征。
• 在网络中插入哈希层，将深度特征映射为低维二进制哈希码，以实现高效检索。
• 在哈希层之上添加一个带有Softmax激活函数的全连接层，用于预测语义分类的概率分布。
• 设计复合损失函数，联合最小化语义标签损失与成对图像相似性损失。
• 通过标签监督与相似性保持的平衡组合，端到端训练网络。
• 调整超参数β和η，以控制哈希码的紧凑性以及语义与相似性约束之间的权衡。

实验结果

研究问题

• RQ1 统一的深度学习框架能否同时实现遥感图像的视觉相似性检索与语义标签分类？
• RQ2 如何有效学习哈希码，以同时保持图像间的相似性与图像内的语义准确性？
• RQ3 在联合检索-分类网络中，语义分类损失与图像相似性损失的最佳平衡点是什么？
• RQ4 超参数β和η如何影响所提出的DHCNN在检索与分类任务中的性能表现？

主要发现

• 所提出的DHCNN在UCMD数据集上实现了97.68%的平均平均精度（mAP），优于现有SOTA方法。
• 在AID数据集上，该方法达到了93.48%的分类准确率，展现出强大的语义分类能力。
• β的最优值为25，该值在不降低性能的前提下确保了紧凑的哈希码。
• η的最优值为0.2，表明语义损失与相似性损失之间的平衡权衡可获得最佳结果。
• 该方法在检索与分类任务中显著优于基线模型，如CaffeNet、GoogLeNet和VGG-VD16。
• 消融实验表明，同时使用语义损失与相似性损失可获得优于单独使用任一损失的性能表现。