[论文解读] Deep Priority Hashing

Zhangjie Cao, Ziping Sun+3 more|arXiv (Cornell University)|Sep 4, 2018

Advanced Image and Video Retrieval Techniques参考文献 35被引用 4

一句话总结

本文提出深度优先哈希（DPH），一种新颖的深度哈希框架，通过引入优先交叉熵损失以聚焦于困难且不确定的样本对，并引入优先量化损失以降低量化误差，从而在数据偏态条件下提升图像检索性能。DPH 在 ImageNet、NUS-WIDE 和 MS-COCO 上实现了最先进性能，通过在端到端贝叶斯学习框架中联合优化这两种损失实现。

ABSTRACT

Deep hashing enables image retrieval by end-to-end learning of deep representations and hash codes from training data with pairwise similarity information. Subject to the distribution skewness underlying the similarity information, most existing deep hashing methods may underperform for imbalanced data due to misspecified loss functions. This paper presents Deep Priority Hashing (DPH), an end-to-end architecture that generates compact and balanced hash codes in a Bayesian learning framework. The main idea is to reshape the standard cross-entropy loss for similarity-preserving learning such that it down-weighs the loss associated to highly-confident pairs. This idea leads to a novel priority cross-entropy loss, which prioritizes the training on uncertain pairs over confident pairs. Also, we propose another priority quantization loss, which prioritizes hard-to-quantize examples for generation of nearly lossless hash codes. Extensive experiments demonstrate that DPH can generate high-quality hash codes and yield state-of-the-art image retrieval results on three datasets, ImageNet, NUS-WIDE, and MS-COCO.

研究动机与目标

• 解决现有深度哈希方法在不平衡或偏态多媒体数据上因对所有训练样本对采用统一加权而导致性能下降的问题。
• 克服标准交叉熵损失在处理长尾分布及图像对之间难度差异方面的局限性。
• 构建一个统一的贝叶斯学习框架，联合优化表示学习与哈希码生成，并采用优先训练机制。
• 通过聚焦于不确定（困难）样本对和难以量化样本，提升检索准确率，降低整体量化误差。
• 在各种数据偏态条件（包括长尾分布和类别不平衡分布）下，于基准数据集上实现最先进性能。

提出的方法

• 提出一种优先交叉熵损失，通过基于预测置信度的调制因子，降低置信样本对的权重，同时提高不确定或难以分类样本对的权重。
• 引入一种优先量化损失，通过引入可学习的温度参数来控制训练过程中的量化误差，从而强调难以量化的样本。
• 将整个 DPH 模型置于贝叶斯学习框架中，支持端到端反向传播训练。
• 采用源自焦点损失（focal loss）概念的调制因子，但针对相似性学习进行适配，其中样本对的难度由模型预测置信度衡量。
• 通过超参数 $ \frac{1}{\rho} $ 联合两个优先损失，实现相似性保持与量化精度之间的灵活平衡。
• 使用标准优化技术进行网络训练，最终哈希码通过可微松弛与硬阈值化获得。

实验结果

研究问题

• RQ1 一种优先处理不确定和难以分类图像对的损失函数，是否能提升在数据偏态条件下的深度哈希性能？
• RQ2 在深度哈希中引入优先感知量化损失，是否能降低量化误差并提升检索准确率？
• RQ3 在具有长尾分布的数据集上，所提出的 DPH 模型与现有深度哈希方法相比性能如何？
• RQ4 DPH 模型在面对类别分布不平衡和样本对难度差异等数据偏态变化时，其鲁棒性如何？
• RQ5 通过优先学习联合优化相似性保持与量化误差降低，是否能带来更好的泛化能力和检索质量？

主要发现

• DPH 在所有码长下均在 ImageNet、NUS-WIDE 和 MS-COCO 上实现了最先进平均精度（mAP），优于包括 HashNet 和 DPH-F 在内的先前方法。
• 在使用 64 位码的 ImageNet 上，DPH 的 mAP 达到 0.7614，显著优于 DPH-W（0.7012）和 DPH-F（0.7555），证明了两种优先损失的有效性。
• 消融实验表明，DPH-W（无优先加权）在 ImageNet 上的 mAP 比 DPH 低 10.31%，凸显聚焦困难样本的重要性。
• DPH-Q（无优先量化损失）在 ImageNet 上低 1.44%，在 NUS-WIDE 上低 4.81%，在 MS-COCO 上低 0.89%，证明控制量化误差至关重要。
• t-SNE 可视化结果表明，与 HashNet 相比，DPH 学习到的哈希码更具判别性且聚类更清晰，尤其在高层特征空间中表现更优。
• 敏感性分析显示，DPH 对超参数 $ \frac{1}{\rho} $ 具有鲁棒性，其性能在 0.01 到 1 的广泛取值范围内保持稳定。