[论文解读] Compact Hash Code Learning with Binary Deep Neural Network

Thanh-Toan Do, Tuan Hoang+3 more|arXiv (Cornell University)|Dec 8, 2017

Advanced Image and Video Retrieval Techniques参考文献 63被引用 5

一句话总结

本文提出了一种新颖的深度神经网络框架，用于紧凑二值哈希码学习，通过受约束的隐藏层直接输出二进制码，确保相似性保持、比特独立性和平衡性。通过使用精心放松的交替优化方法，该方法在基准数据集上的表现优于最先进方法，尤其在端到端学习设置下，不同码长下mAP均有提升。

ABSTRACT

Learning compact binary codes for image retrieval problem using deep neural networks has recently attracted increasing attention. However, training deep hashing networks is challenging due to the binary constraints on the hash codes. In this paper, we propose deep network models and learning algorithms for learning binary hash codes given image representations under both unsupervised and supervised manners. The novelty of our network design is that we constrain one hidden layer to directly output the binary codes. This design has overcome a challenging problem in some previous works: optimizing non-smooth objective functions because of binarization. In addition, we propose to incorporate independence and balance properties in the direct and strict forms into the learning schemes. We also include a similarity preserving property in our objective functions. The resulting optimizations involving these binary, independence, and balance constraints are difficult to solve. To tackle this difficulty, we propose to learn the networks with alternating optimization and careful relaxation. Furthermore, by leveraging the powerful capacity of convolutional neural networks, we propose an end-to-end architecture that jointly learns to extract visual features and produce binary hash codes. Experimental results for the benchmark datasets show that the proposed methods compare favorably or outperform the state of the art.

研究动机与目标

• 为解决在严格二值约束下训练深度哈希网络所导致的非光滑、NP难优化问题。
• 通过在学习过程中直接整合相似性保持、比特独立性和比特平衡等关键理想特性，提升检索性能。
• 克服基于松弛的方法的局限性，这些方法因后处理阈值化而产生次优的二进制码。
• 设计一种端到端深度学习架构，联合学习视觉特征与二进制哈希码，并具备强理论与实证保证。
• 开发一种有效优化策略，通过交替优化与松弛，同时处理二值性、独立性与平衡性约束。

提出的方法

• 提出一种新型网络设计，其中单个隐藏层直接输出二进制码，避免对二值约束进行松弛。
• 对二进制码施加严格、直接的约束，以强制实现比特独立性与平衡性，确保无冗余或偏斜表示。
• 引入相似性保持目标，以在哈希空间中保持相似与不相似图像对之间的相对排序。
• 采用交替优化方案，交替优化网络权重与二进制码，通过精心设计的松弛处理非光滑性。
• 提出一种端到端架构（E2E-BDNN），将CNN用于特征提取，并通过二值量化层联合学习特征与哈希码。
• 使用类似符号的激活函数并结合梯度近似，以支持反向传播，同时通过约束优化保持最终码的二值性。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络，直接生成二进制哈希码，而无需依赖松弛或后处理阈值化？
• RQ2 在可微优化框架中，如何实现深度哈希的比特独立性与平衡性？
• RQ3 同时强制实施相似性保持、独立性与平衡性，是否能相比最先进方法带来更好的检索性能？
• RQ4 视觉特征与二进制码的端到端训练，是否能优于分离的特征学习与哈希方法？
• RQ5 当码长增加时，该方法与基于松弛的方法相比如何，特别是在mAP稳定性与提升方面？

主要发现

• 所提出的SH-BDNN方法在CIFAR-10数据集Setting 1下优于DNNH、DQN与DPSH，在所有码长下均取得更高的mAP，包括L=24时mAP为56.60，L=32时为55.80，表明码长增加时性能持续提升。
• 在CIFAR-10数据集Setting 2下，端到端的E2E-BDNN框架显著优于DSRH与DRSCH，所有码长下性能提升达5%至6%。
• 与DNNH在码长从24增至32时mAP下降的表现不同，SH-BDNN与E2E-BDNN均在码长增加时表现出mAP持续提升，表明具有更好的可扩展性。
• 该方法在DPSH与DHN上表现更优，证明所提出的优化策略能有效处理符号函数的病态梯度问题，同时保持强二值约束。
• 严格引入独立性与平衡性约束，使哈希码更具鲁棒性与信息量，实验结果表明其在性能提升上持续优于忽略或仅近似这些特性的方法。
• 实验结果证实，通过约束优化实现的直接二进制输出，其检索精度优于基于松弛的方法，验证了所提框架的有效性。