[论文解读] Tiny Descriptors for Image Retrieval with Unsupervised Triplet Hashing

Jie Lin, Olivier Morère+3 more|arXiv (Cornell University)|Nov 10, 2015

Advanced Image and Video Retrieval Techniques参考文献 25被引用 6

一句话总结

本文提出无监督三元组哈希（Unsupervised Triplet Hashing, UTH），一种两阶段方法：首先利用堆叠受限玻尔兹曼机（Stacked Restricted Boltzmann Machines, SRBM）无监督压缩高维深度神经网络特征表示，随后通过三元组网络微调二值编码以保持度量结构。UTH在无监督图像检索任务中达到最先进性能，在UKbench和Holidays等基准数据集上，32位编码的召回率@100相比现有方法最高提升+5%。

ABSTRACT

A typical image retrieval pipeline starts with the comparison of global descriptors from a large database to find a short list of candidate matches. A good image descriptor is key to the retrieval pipeline and should reconcile two contradictory requirements: providing recall rates as high as possible and being as compact as possible for fast matching. Following the recent successes of Deep Convolutional Neural Networks (DCNN) for large scale image classification, descriptors extracted from DCNNs are increasingly used in place of the traditional hand crafted descriptors such as Fisher Vectors (FV) with better retrieval performances. Nevertheless, the dimensionality of a typical DCNN descriptor --extracted either from the visual feature pyramid or the fully-connected layers-- remains quite high at several thousands of scalar values. In this paper, we propose Unsupervised Triplet Hashing (UTH), a fully unsupervised method to compute extremely compact binary hashes --in the 32-256 bits range-- from high-dimensional global descriptors. UTH consists of two successive deep learning steps. First, Stacked Restricted Boltzmann Machines (SRBM), a type of unsupervised deep neural nets, are used to learn binary embedding functions able to bring the descriptor size down to the desired bitrate. SRBMs are typically able to ensure a very high compression rate at the expense of loosing some desirable metric properties of the original DCNN descriptor space. Then, triplet networks, a rank learning scheme based on weight sharing nets is used to fine-tune the binary embedding functions to retain as much as possible of the useful metric properties of the original space. A thorough empirical evaluation conducted on multiple publicly available dataset using DCNN descriptors shows that our method is able to significantly outperform state-of-the-art unsupervised schemes in the target bit range.

研究动机与目标

• 为解决将高维深度图像特征表示压缩为极短二值码以实现高效大规模图像检索的挑战。
• 在压缩过程中保持原始深度特征的度量属性，确保在极端比特率降低下仍能实现高召回率。
• 开发一种完全无监督的方法，避免依赖昂贵的标注或辅助信息，同时保持竞争力的性能。
• 通过结合表示学习与度量保持的微调，改进现有无监督哈希方案。

提出的方法

• 首先，使用无监督方式训练堆叠受限玻尔兹曼机（SRBM），学习一个低维二值嵌入函数，将4096维的DCNN特征压缩至32–256位。
• 其次，利用共享权重的三元组网络对学习到的二值嵌入进行微调，优化二值码以保持原始特征空间中的相对相似性关系。
• 三元组网络使用锚点、正样本和负样本图像三元组，学习排序损失，以维持相似度得分的相对排序。
• 该方法除利用数据集固有的相似性结构生成图像三元组外，完全无监督，无需标签或注释。
• 最终的二值码通过训练期间的可微软到硬二值化过程计算，推理阶段则采用硬阈值化。
• 评估采用汉明距离衡量二值码，L2距离衡量未压缩特征，标准指标包括Recall@R、mAP，以及包含100万干扰项的大规模检索。

实验结果

研究问题

• RQ1 两阶段无监督方法能否在有效压缩高维深度图像特征至32–256位二值码的同时，保持检索性能？
• RQ2 通过三元组网络微调二值码是否能显著提升检索准确率，相比仅使用无监督预训练？
• RQ3 在多个数据集上，所提出的UTH方法与ITQ、PCAHash和LSH等最先进无监督哈希方案相比，其在召回率与mAP上的表现如何？
• RQ4 随着比特深度增加，压缩特征与未压缩特征之间的性能差距缩小到何种程度？

主要发现

• UTH在所有数据集和比特率下均优于所有基线无监督哈希方法，包括ITQ、PCAHash和LSH，在UKbench上32位编码的召回率@100最高提升+5%。
• 微调阶段显著提升了SRBM单独使用时的性能，尤其在低比特率下，表明度量结构得到有效保持。
• 在Oxford5k数据集上，UTH的mAP与ITQ和PCAHash等顶尖基线相比仅下降-2%，平均仅在一个查询上出现轻微性能下降。
• 在Holidays数据集上，256位时UTH的召回率@10相比未压缩的4096维特征仅下降2%，而32位时下降达26%。
• 在包含100万干扰项的大规模检索中，UTH在Holidays+1M和UKbench+1M上所有比特率下均保持优越性能，证实其可扩展性。
• 在32位时，压缩与未压缩特征之间的性能差距仍较大，但随着比特深度增加，差距显著缩小，表明在极端压缩下仍有改进空间。