[论文解读] Instance Similarity Deep Hashing for Multi-Label Image Retrieval.

Zheng Zhang, Qin Zou+3 more|arXiv (Cornell University)|Mar 8, 2018

Advanced Image and Video Retrieval Techniques参考文献 46被引用 17

一句话总结

本文提出实例相似度深度哈希（ISDH），一种用于多标签图像检索的新颖深度哈希方法，该方法用基于共享标签比例的连续、归一化实例相似度替代传统二值成对相似度。通过整合加权交叉熵损失和最小均方误差损失，ISDH 实现了特征学习与哈希码优化的联合优化，在三个基准数据集上取得了最先进性能。

ABSTRACT

Hash coding has been widely used in the approximate nearest neighbor search for large-scale image retrieval. Recently, many deep hashing methods have been proposed and shown largely improved performance over traditional feature-learning-based methods. Most of these methods examine the pairwise similarity on the semantic-level labels, where the pairwise similarity is generally defined in a hard-assignment way. That is, the pairwise similarity is '1' if they share no less than one class label and '0' if they do not share any. However, such similarity definition cannot reflect the similarity ranking for pairwise images that hold multiple labels. In this paper, a new deep hashing method is proposed for multi-label image retrieval by re-defining the pairwise similarity into an instance similarity, where the instance similarity is quantified into a percentage based on the normalized semantic labels. Based on the instance similarity, a weighted cross-entropy loss and a minimum mean square error loss are tailored for loss-function construction, and are efficiently used for simultaneous feature learning and hash coding. Experiments on three popular datasets demonstrate that, the proposed method outperforms the competing methods and achieves the state-of-the-art performance in multi-label image retrieval.

研究动机与目标

• 为解决多标签图像检索中硬分配成对相似度的局限性，即共享标签被处理为二值（1或0）而非按比例量化。
• 通过基于标签重叠的连续、归一化实例相似度度量，改进多标签图像之间的语义相似度表示。
• 开发一种深度哈希框架，通过实例相似度驱动的损失函数，联合优化特征学习与哈希码生成。
• 通过更细致的相似度建模，实现在大规模多标签图像检索中的最先进性能。

提出的方法

• 本文将成对相似度重新定义为实例相似度，计算方式为两幅图像之间共享标签的归一化比例，结果为介于0到1之间的连续值。
• 设计了加权交叉熵损失，以在训练过程中保持实例相似度的相对排序。
• 引入最小均方误差（MSE）损失，以最小化学习到的哈希码与连续实例相似度值之间的差异。
• 联合损失函数支持深度神经网络的端到端训练，实现特征提取与二进制哈希码生成的同步优化。
• 通过反向传播算法对模型进行端到端训练，以同时优化特征提取器与哈希函数。
• 在三个标准多标签图像检索基准数据集上评估该方法，以验证其有效性。

实验结果

研究问题

• RQ1 用连续实例相似度替代二值成对相似度，是否能提升多标签图像检索性能？
• RQ2 与传统硬分配方法相比，连续相似度度量是否能更准确地捕捉多标签图像之间的语义相似度排序？
• RQ3 基于实例相似度损失的特征学习与哈希编码联合优化方法有多有效？
• RQ4 加权交叉熵与MSE损失的联合集成是否能带来比标准损失函数更优的检索准确率？

主要发现

• 所提出的ISDH方法在三个主流多标签图像检索数据集上均取得了最先进性能。
• 使用连续实例相似度可更准确地建模多标签图像之间的语义关系。
• 通过加权交叉熵与MSE损失的联合优化，显著提升了特征表示与哈希码的质量。
• 与依赖二值成对相似度的现有深度哈希方法相比，该方法在检索准确率上表现更优。