[论文解读] Efficient end-to-end learning for quantizable representations

Yeonwoo Jeong, Hyun Oh Song|arXiv (Cornell University)|May 15, 2018

Advanced Image and Video Retrieval Techniques参考文献 29被引用 5

一句话总结

本文提出了一种端到端的深度学习框架，联合优化可量化的嵌入表示和稀疏二值哈希码，从而实现高效的哈希表构建。通过将离散哈希码优化建模为最小费用循环问题，该方法在Cifar-100和ImageNet上实现了最先进的检索准确率，同时相较于穷举线性搜索实现了高达478倍的搜索加速。

ABSTRACT

Embedding representation learning via neural networks is at the core foundation of modern similarity based search. While much effort has been put in developing algorithms for learning binary hamming code representations for search efficiency, this still requires a linear scan of the entire dataset per each query and trades off the search accuracy through binarization. To this end, we consider the problem of directly learning a quantizable embedding representation and the sparse binary hash code end-to-end which can be used to construct an efficient hash table not only providing significant search reduction in the number of data but also achieving the state of the art search accuracy outperforming previous state of the art deep metric learning methods. We also show that finding the optimal sparse binary hash code in a mini-batch can be computed exactly in polynomial time by solving a minimum cost flow problem. Our results on Cifar-100 and on ImageNet datasets show the state of the art search accuracy in precision@k and NMI metrics while providing up to 98X and 478X search speedup respectively over exhaustive linear search. The source code is available at https://github.com/maestrojeong/Deep-Hash-Table-ICML18

研究动机与目标

• 为解决大规模相似性搜索中穷举线性搜索的低效问题，直接学习可量化的表示。
• 以端到端方式联合优化深度嵌入表示和二值哈希码，避免后续聚类处理步骤。
• 通过稀疏二值哈希表实现高效推理，同时不牺牲检索准确率。
• 证明最优稀疏二值哈希码可通过最小费用循环公式精确且高效地计算。

提出的方法

• 该方法在小批量数据中交替通过随机梯度下降优化嵌入网络，并求解最优稀疏二值哈希码。
• 通过将离散优化转化为最小费用循环问题，精确计算最优哈希码分配，可在多项式时间内求解。
• 该框架模块化设计，兼容现有的深度度量学习方法，如孪生网络和三元组损失。
• 利用OR-Tools高效计算最小费用循环，并与基于TensorFlow的深度度量学习库集成。
• 该方法支持困难负样本挖掘和标准度量学习目标，训练在小批量随机梯度设置下进行。
• 最终的哈希表由学习到的嵌入和最优二值码构建，实现在推理阶段的快速查找。

实验结果

研究问题

• RQ1 我们能否以端到端方式联合学习可量化的嵌入表示和最优稀疏二值哈希码？
• RQ2 稀疏二值哈希码的离散优化能否在多项式时间内精确且高效地求解？
• RQ3 端到端学习嵌入和哈希码是否在检索准确率上优于最先进的深度度量学习方法？
• RQ4 与线性扫描相比，该方法在大规模数据集上能将搜索成本降低多少？
• RQ5 在构建哈希桶时，该方法在聚类纯度和NMI指标上的表现如何？

主要发现

• 所提方法在Cifar-100和ImageNet数据集上均实现了最先进的precision@k和NMI得分，优于先前的深度度量学习方法。
• 在Cifar-100上，该方法在保持卓越检索准确率的同时，相较于穷举线性搜索实现了高达98倍的加速。
• 在ImageNet上，该方法实现了高达478倍的线性搜索加速，且在precision@k和NMI指标上均有显著提升。
• 使用该方法构建的哈希表产生的聚类桶具有显著更高的类别纯度，NMI指标优于基线方法。
• 最小费用循环公式使得最优稀疏二值哈希码可在多项式时间内精确且高效地计算。
• 该方法避免了在全量数据集上重复进行k-means聚类，因此在大规模应用中具备良好的可扩展性。