[论文解读] Deep Residual Hashing

Sailesh Conjeti, Abhijit Guha Roy+2 more|arXiv (Cornell University)|Dec 16, 2016

Advanced Image and Video Retrieval Techniques参考文献 16被引用 3

一句话总结

本文提出深度残差哈希（DRH），一种新颖的端到端深度学习框架，通过残差网络联合优化表示学习与二值哈希码生成。通过集成受邻域成分分析启发的损失函数与量化正则化，DRH在大规模胸部X光数据集上实现了最先进检索性能，平均平均精度（MAP）较先前方法提升超过14%，同时生成紧凑且语义有意义的二值码，量化误差极低。

ABSTRACT

Hashing aims at generating highly compact similarity preserving code words which are well suited for large-scale image retrieval tasks. Most existing hashing methods first encode the images as a vector of hand-crafted features followed by a separate binarization step to generate hash codes. This two-stage process may produce sub-optimal encoding. In this paper, for the first time, we propose a deep architecture for supervised hashing through residual learning, termed Deep Residual Hashing (DRH), for an end-to-end simultaneous representation learning and hash coding. The DRH model constitutes four key elements: (1) a sub-network with multiple stacked residual blocks; (2) hashing layer for binarization; (3) supervised retrieval loss function based on neighbourhood component analysis for similarity preserving embedding; and (4) hashing related losses and regularisation to control the quantization error and improve the quality of hash coding. We present results of extensive experiments on a large public chest x-ray image database with co-morbidities and discuss the outcome showing substantial improvements over the latest state-of-the art methods.

研究动机与目标

• 解决依赖手工特征与独立二值化步骤的两阶段哈希方法性能不佳的问题。
• 克服深度哈希模型在训练过程中因连续松弛导致的准确率饱和与高量化误差的局限性。
• 实现特征表示与哈希码生成的端到端联合优化，以提升检索质量。
• 通过专用哈希损失函数与正则化手段控制量化误差并增强码的独立性。
• 验证残差学习在复杂共病场景下的医学图像检索深度哈希中的有效性。

提出的方法

• DRH模型采用堆叠残差块的深度残差网络，从原始输入图像中学习判别性图像表征。
• 全连接哈希层直接从最终特征表示生成紧凑的二值嵌入。
• 采用受邻域成分分析（NCA）启发的损失函数，以在汉明空间中保持语义相似性并提升类别可分性。
• 引入量化损失，以最小化连续表征与其二值对应物之间的差异，降低二值化误差。
• 应用正则化项以促进哈希码之间的独立性，提升码质量并减少冗余。
• 通过结合检索、量化与正则化目标的复合损失，使用反向传播端到端训练整个网络。

实验结果

研究问题

• RQ1 与两阶段或非残差方法相比，端到端深度残差学习是否能提升哈希码质量与检索性能？
• RQ2 所提出的NCA启发损失在汉明空间中保持语义相似性并增强类别可分性的有效性如何？
• RQ3 量化损失在多大程度上减少了二值化误差并提升了学习哈希码的保真度？
• RQ4 增加网络深度对学习哈希码的紧凑性与性能有何影响？
• RQ5 DRH能否在涉及共病与高语义变异性等复杂医学影像任务中实现良好泛化？

主要发现

• 在CXR数据集上，DRH在64位码长下达到76.72%的平均平均精度（MAP），较次优方法（DRH - NB）提升超过14.2%。
• 模型表现出高度紧凑性，32位码的性能与其它方法的64位码相当，表明其具有高效的表征学习能力。
• DRH - 34在二值化哈希码时仅导致MAP下降0.7%，验证了量化损失的有效性。
• 相比之下，DRH - NQ在二值化时MAP下降达10.8%，凸显了所提出量化正则化的必要性。
• t-SNE可视化结果表明，DRH生成的嵌入保留了语义结构，并在汉明空间中形成良好分离的、语义明确的聚类。
• 检索结果表明，排名靠前的图像始终共享相同病理类型或共病，证实了该方法在捕捉复杂语义关系方面的能力。