[论文解读] DistillHash: Unsupervised Deep Hashing by Distilling Data Pairs

Erkun Yang, Tongliang Liu+3 more|arXiv (Cornell University)|May 9, 2019

Advanced Image and Video Retrieval Techniques参考文献 71被引用 14

一句话总结

DistillHash 提出了一种无监督深度哈希方法，通过从基于局部数据结构生成的噪声初始相似性标签中提炼出具有高置信度的样本对及其可靠的相似性信号，从而提升性能。通过在这些提炼出的样本对上采用贝叶斯学习框架，该模型在无需标注数据的情况下，在三个基准数据集上实现了最先进（SOTA）的检索准确率。

ABSTRACT

Due to the high storage and search efficiency, hashing has become prevalent for large-scale similarity search. Particularly, deep hashing methods have greatly improved the search performance under supervised scenarios. In contrast, unsupervised deep hashing models can hardly achieve satisfactory performance due to the lack of reliable supervisory similarity signals. To address this issue, we propose a novel deep unsupervised hashing model, dubbed DistillHash, which can learn a distilled data set consisted of data pairs, which have confidence similarity signals. Specifically, we investigate the relationship between the initial noisy similarity signals learned from local structures and the semantic similarity labels assigned by a Bayes optimal classifier. We show that under a mild assumption, some data pairs, of which labels are consistent with those assigned by the Bayes optimal classifier, can be potentially distilled. Inspired by this fact, we design a simple yet effective strategy to distill data pairs automatically and further adopt a Bayesian learning framework to learn hash functions from the distilled data set. Extensive experimental results on three widely used benchmark datasets show that the proposed DistillHash consistently accomplishes the state-of-the-art search performance.

研究动机与目标

• 为解决由于缺乏可靠监督信号而导致的无监督深度哈希性能不佳的问题。
• 识别并提取初始噪声相似性标签中具有高置信度语义相似性的数据对。
• 开发一种自监督学习框架，利用这些提炼出的数据对进行有效的哈希码学习。
• 在无需标注数据的情况下，超越现有无监督哈希方法在标准基准上的表现。

提出的方法

• 利用局部数据结构为数据对分配初始的噪声相似性标签。
• 在较弱假设下进行理论分析，以识别其标签与贝叶斯最优分类器一致的数据对。
• 采用一种简单而有效的方法，基于标签与贝叶斯最优分类器的一致性，自动提炼出高置信度数据对。
• 设计一个深度神经网络，通过在提炼数据集上应用贝叶斯学习框架，联合学习表示和哈希码。
• 将提炼出的数据对集成到损失函数中，以优化汉明空间中语义相似性的保持。
• 使用超参数 o 和 p 控制提炼对的选择与过滤，消融实验验证了其鲁棒性。

实验结果

研究问题

• RQ1 能否从基于局部数据结构生成的噪声相似性信号中进行优化，以识别出具有高置信度语义相似性的样本对？
• RQ2 在何种条件下，可以基于与贝叶斯最优分类器的一致性可靠地提炼出数据对？
• RQ3 基于提炼数据对的自监督学习框架能否超越现有的无监督哈希方法？
• RQ4 所提出方法的性能对关键超参数 o 和 p 的敏感性如何？

主要发现

• DistillHash 在所有三个基准数据集上均实现了最先进（SOTA）的平均平均精度（MAP）：FLICKR25K、NUSWIDE 和 CIFAR10。
• 在 16 位哈希的 FLICKR25K 上，DistillHash 的 MAP 达到 0.6964，相比基线 DistillHash* 提升了 3.11%。
• 在 32 位哈希的 NUSWIDE 上，DistillHash 的 MAP 达到 0.6752，相比 DistillHash* 提升了 3.95%。
• 在 128 位哈希的 CIFAR10 上，DistillHash 的 MAP 达到 0.2895，相比 DistillHash* 提升了 3.12%。
• 所有实验中模型均在 1,000 次训练迭代内收敛，表明训练效率高。
• 超参数敏感性分析表明，性能对 o（2–20）和 p（32–128）的变化具有鲁棒性，最优值分别为 o=4 和 p=48。