[论文解读] A Revisit on Deep Hashings for Large-scale Content Based Image Retrieval

Deng Cai, Xiuye Gu+1 more|arXiv (Cornell University)|Nov 16, 2017

Advanced Image and Video Retrieval Techniques参考文献 28被引用 13

一句话总结

本文在更真实的实验设置下重新评估了大规模基于内容的图像检索任务中前沿的深度哈希方法，发现其性能反而逊于一种简单的多表无监督哈希方法（IsoH）。研究揭示了先前评估中的关键缺陷——忽略检索时间、使用小规模数据集，以及未为传统方法应用多表优化——从而得出结论：在真实条件下，深度哈希方法并不能始终优于经过充分调优的传统方法。

ABSTRACT

There is a growing trend in studying deep hashing methods for content-based image retrieval (CBIR), where hash functions and binary codes are learnt using deep convolutional neural networks and then the binary codes can be used to do approximate nearest neighbor (ANN) search. All the existing deep hashing papers report their methods' superior performance over the traditional hashing methods according to their experimental results. However, there are serious flaws in the evaluations of existing deep hashing papers: (1) The datasets they used are too small and simple to simulate the real CBIR situation. (2) They did not correctly include the search time in their evaluation criteria, while the search time is crucial in real CBIR systems. (3) The performance of some unsupervised hashing algorithms (e.g., LSH) can easily be boosted if one uses multiple hash tables, which is an important factor should be considered in the evaluation while most of the deep hashing papers failed to do so. We re-evaluate several state-of-the-art deep hashing methods with a carefully designed experimental setting. Empirical results reveal that the performance of these deep hashing methods are inferior to multi-table IsoH, a very simple unsupervised hashing method. Thus, the conclusions in all the deep hashing papers should be carefully re-examined.

研究动机与目标

• 挑战广泛持有的观点，即深度哈希方法在大规模基于内容的图像检索中优于传统哈希方法。
• 识别并纠正现有深度哈希论文中评估协议的关键缺陷。
• 建立一个更真实的基准，用于比较深度哈希与传统哈希方法。
• 证明检索时间与多表索引对性能有显著影响，必须纳入评估考量。
• 表明在真实条件下，简单的无监督方法如多表IsoH可超越复杂的基于深度学习的哈希方法。

提出的方法

• 在部分监督设置下，使用大规模ImageNet数据集重新评估三种前沿深度哈希方法（DLBH、DNNH和DCH）。
• 采用精确度-时间曲线来同时度量准确率与效率，包括实际的检索时间。
• 为传统哈希方法（LSH和IsoH）应用多表技巧，显著提升其性能，并实现公平比较。
• 分别测量定位时间与扫描时间，以隔离码长对检索效率的影响。
• 采用两步检索流程：首先基于汉明距离通过哈希桶定位候选图像，然后通过精确距离计算进行重排序。
• 分析随着码长增加，必须访问的哈希桶数量呈指数级增长，从而解释定位时间急剧上升的原因。

实验结果

研究问题

• RQ1 当在真实条件下评估时，深度哈希方法的性能是否仍优于传统哈希方法？
• RQ2 将检索时间纳入评估后，深度哈希与传统哈希方法的相对性能排名如何变化？
• RQ3 多表索引技巧在多大程度上提升了LSH和IsoH等传统哈希算法的性能？
• RQ4 码长如何影响深度哈希方法在检索准确率与搜索效率之间的权衡？
• RQ5 为何深度哈希方法在大规模、复杂数据集上无法超越如IsoH这样的简单无监督哈希方法？

主要发现

• 在使用大规模ImageNet数据集并正确测量检索时间的评估中，深度哈希方法的性能劣于多表IsoH。
• 多表IsoH在检索100个样本时的精确度显著优于最佳深度哈希方法（DLBH）。
• 随着码长增加，深度哈希方法的定位时间几乎呈指数级增长，导致长码在实际应用中不可行，尽管其准确率更高。
• 所有哈希方法在大规模复杂数据集上的精确度均趋近于暴力搜索的上限，表明存在性能天花板。
• 将检索时间纳入评估后发现，深度哈希方法中更长的码长导致检索时间过长，严重削弱其实际可用性。
• 本研究结论认为，深度哈希论文中关于性能优越性的主张缺乏稳健性，应在真实基准下重新仔细审视。