[论文解读] Feature Learning based Deep Supervised Hashing with Pairwise Labels

Wu-Jun Li, Sheng Wang+1 more|arXiv (Cornell University)|Nov 12, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用 117

一句话总结

本文提出深度成对监督哈希（DPSH），一种端到端的深度学习框架，通过成对标签联合进行特征学习与哈希码学习，填补了现有方法依赖三元组或点对标签的空白。DPSH通过在特征提取与哈希组件之间实现反馈，显著提升了图像检索基准上的性能，优于使用深度特征的非深度基线方法，以及使用排序标签的深度方法。

ABSTRACT

Recent years have witnessed wide application of hashing for large-scale image retrieval. However, most existing hashing methods are based on hand-crafted features which might not be optimally compatible with the hashing procedure. Recently, deep hashing methods have been proposed to perform simultaneous feature learning and hash-code learning with deep neural networks, which have shown better performance than traditional hashing methods with hand-crafted features. Most of these deep hashing methods are supervised whose supervised information is given with triplet labels. For another common application scenario with pairwise labels, there have not existed methods for simultaneous feature learning and hash-code learning. In this paper, we propose a novel deep hashing method, called deep pairwise-supervised hashing(DPSH), to perform simultaneous feature learning and hash-code learning for applications with pairwise labels. Experiments on real datasets show that our DPSH method can outperform other methods to achieve the state-of-the-art performance in image retrieval applications.

研究动机与目标

• 为解决缺乏能够从成对标注数据中同时学习特征与哈希码的深度哈希方法的问题。
• 克服如 CNNH 等两阶段方法的局限性，这些方法无法将学习到的特征反馈至哈希码优化过程。
• 开发一种集成特征学习、哈希码学习与成对监督的端到端深度学习框架。
• 通过深度特征表示与二进制哈希码之间的相互优化，提升检索准确性。
• 在真实世界图像检索数据集上，于成对标注场景下验证 DPSH 的有效性。

提出的方法

• DPSH 采用端到端的深度神经网络架构，联合优化特征学习与哈希码生成。
• 该方法使用类似孪生网络的结构处理图像对，基于成对标签学习保持相似性的哈希码。
• 引入可微分的哈希层，使反向传播能够通过离散的哈希码，从而支持端到端训练。
• 损失函数结合成对对比损失，以强制正样本对之间保持相似性，负样本对之间保持差异性。
• 使用随机梯度下降与反向传播进行端到端训练，使特征学习与哈希码学习能够相互优化。
• 在 CIFAR-10 与 NUS-WIDE 数据集上评估，以平均平均精度（MAP）为主要指标。

实验结果

研究问题

• RQ1 端到端的深度学习框架能否有效从成对标注数据中同时学习特征与哈希码？
• RQ2 在成对监督下，联合学习特征与哈希码的方法相较于两阶段或非深度方法有何差异？
• RQ3 在成对检索设置下，DPSH 是否优于使用三元组或排序标签的现有深度哈希方法？
• RQ4 DPSH 对超参数选择（如边界参数 η）的敏感性如何？
• RQ5 DPSH 是否仅使用成对标签即可在标准图像检索基准上实现最先进性能？

主要发现

• DPSH 在 CIFAR-10 与 NUS-WIDE 数据集上均达到最先进性能，48 位哈希码的 MAP 分数分别为 0.807 和 0.741。
• 在 NUS-WIDE 数据集上，DPSH 的 48 位哈希码 MAP 分数（0.807）优于 FastH+CNN（0.825）、SDH+CNN（0.824）与 KSH+CNN（0.799）。
• DPSH 显著优于先前的两阶段方法 CNNH，证明了端到端联合学习的优势。
• DPSH 在不同位长（16–48 位）下均保持优异性能，展现出良好的鲁棒性与可扩展性。
• 在 [10, 100] 范围内，DPSH 对超参数 η 不敏感，表明其训练行为稳定。
• 与基于三元组标签的深度方法（DSRH、DSCH、DRSCH）相比，DPSH 即使在成对标签设置下训练与评估，仍取得更高的 MAP 分数。