[论文解读] Deep Hashing: A Joint Approach for Image Signature Learning

Yadong Mu, Zhu Liu|arXiv (Cornell University)|Aug 12, 2016

Advanced Image and Video Retrieval Techniques参考文献 27被引用 6

一句话总结

本文提出 Deep Hashing，一种联合学习框架，通过统一的神经网络同时优化深度特征提取与非线性监督哈希。通过引入可微的指数哈希损失函数及两阶段监督预训练策略，实现了端到端的基于梯度的优化，取得了最先进性能——在 MNIST 上使用 12 位哈希码达到 0.99 的汉明排名准确率，在 CIFAR10 上达到 0.74，显著超越先前方法。

ABSTRACT

Similarity-based image hashing represents crucial technique for visual data storage reduction and expedited image search. Conventional hashing schemes typically feed hand-crafted features into hash functions, which separates the procedures of feature extraction and hash function learning. In this paper, we propose a novel algorithm that concurrently performs feature engineering and non-linear supervised hashing function learning. Our technical contributions in this paper are two-folds: 1) deep network optimization is often achieved by gradient propagation, which critically requires a smooth objective function. The discrete nature of hash codes makes them not amenable for gradient-based optimization. To address this issue, we propose an exponentiated hashing loss function and its bilinear smooth approximation. Effective gradient calculation and propagation are thereby enabled; 2) pre-training is an important trick in supervised deep learning. The impact of pre-training on the hash code quality has never been discussed in current deep hashing literature. We propose a pre-training scheme inspired by recent advance in deep network based image classification, and experimentally demonstrate its effectiveness. Comprehensive quantitative evaluations are conducted on several widely-used image benchmarks. On all benchmarks, our proposed deep hashing algorithm outperforms all state-of-the-art competitors by significant margins. In particular, our algorithm achieves a near-perfect 0.99 in terms of Hamming ranking accuracy with only 12 bits on MNIST, and a new record of 0.74 on the CIFAR10 dataset. In comparison, the best accuracies obtained on CIFAR10 by existing hashing algorithms without or with deep networks are known to be 0.36 and 0.58 respectively.

研究动机与目标

• 为解决传统哈希方法将特征提取与哈希函数学习视为独立阶段的局限性。
• 通过克服离散哈希码的不可微性，实现深度神经网络在哈希任务中的端到端训练。
• 在监督信息有限的大规模数据集上提升哈希码质量，尤其在数据欠采样条件下。
• 探究预训练对深度哈希性能的影响，填补文献中此前未被探索的空白。

提出的方法

• 提出一种可微的指数哈希损失函数，并通过双线性平滑函数近似，以支持梯度反向传播。
• 提出一种受 ImageNet 预训练启发的两阶段监督预训练方案，在联合优化前利用标注数据初始化网络权重。
• 采用具有共享层和最终哈希层的深度神经网络架构，所有参数通过随机梯度下降联合微调。
• 采用小批量训练并结合学习率衰减策略，以在端到端优化过程中稳定收敛。
• 利用双线性近似处理指数损失，以在保持哈希码离散性的同时维持平滑梯度。
• 对比评估手工设计特征（如 GIST、DenseSIFT）与学习得到的 CNN 特征。

实验结果

研究问题

• RQ1 与先顺序提取特征再哈希的方法相比，联合学习深度特征与哈希函数是否能提升哈希性能？
• RQ2 如何使哈希码的离散性与深度网络中的基于梯度的优化相兼容？
• RQ3 监督预训练对深度哈希中学习到的哈希码质量有何影响？
• RQ4 使用手工特征与学习特征时，深度哈希的性能与最先进方法相比如何？

主要发现

• 所提出的 Deep Hashing 方法在仅使用 12 位哈希码的 MNIST 数据集上实现了 0.99 的汉明排名准确率，显著优于先前方法。
• 在 CIFAR10 数据集上，其准确率达到 0.74 的新最先进水平，远超此前使用深度网络的最佳结果（0.58）。
• 即使采用随机初始化（无预训练），该方法仍优于预训练基线，表明联合优化相比孤立预训练更具优势。
• 监督预训练后接微调在所有数据集上均表现最稳健，尤其在 SUN397 等高类别数的挑战性数据集上表现突出。
• 手工特征与 CNN 特征之间的性能差距显著——在 CIFAR10 和 SUN397 上，CNN 特征的 mAP 分数均为手工特征的 2–3 倍。
• 与先分别学习特征和哈希码的两步法相比，特征学习与哈希的联合优化能带来更优结果。