[论文解读] Embarrassingly Simple Binary Representation Learning

Yuming Shen, Jie Qin+3 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Image and Video Retrieval Techniques参考文献 43被引用 5

一句话总结

本文提出 JMLH，一种极其简单的深度哈希模型，通过使用可微分二值瓶颈层和单一似然最大化目标函数训练标准分类网络，实现了最先进性能。通过引入变分信息瓶颈正则化与随机梯度估计，JMLH 在无需辅助模型或复杂优化的情况下生成高质量二值编码，在 CIFAR-10、NUS-WIDE 和 ImageNet 上均优于当前最先进方法。

ABSTRACT

Recent binary representation learning models usually require sophisticated binary optimization, similarity measure or even generative models as auxiliaries. However, one may wonder whether these non-trivial components are needed to formulate practical and effective hashing models. In this paper, we answer the above question by proposing an embarrassingly simple approach to binary representation learning. With a simple classification objective, our model only incorporates two additional fully-connected layers onto the top of an arbitrary backbone network, whilst complying with the binary constraints during training. The proposed model lower-bounds the Information Bottleneck (IB) between data samples and their semantics, and can be related to many recent `learning to hash' paradigms. We show that, when properly designed, even such a simple network can generate effective binary codes, by fully exploring data semantics without any held-out alternating updating steps or auxiliary models. Experiments are conducted on conventional large-scale benchmarks, i.e., CIFAR-10, NUS-WIDE, and ImageNet, where the proposed simple model outperforms the state-of-the-art methods.

研究动机与目标

• 探究复杂组件（如离散优化或生成模型）在有效监督哈希中是否为必要条件。
• 开发一种最小化但强大的深度哈希框架，在保持二值约束的同时保留语义信息。
• 证明仅使用带二值瓶颈的标准分类网络即可超越当前最先进哈希模型。
• 通过变分信息瓶颈（VIB）框架为所提方法提供理论基础。

提出的方法

• 模型采用标准深度神经网络，在最终特征表示后插入一个可微分二值瓶颈层。
• 应用单一分类损失以最大化数据标签的似然性，形成输入数据与语义之间信息瓶颈（IB）的变分下界。
• 通过直通法（ST）或分布导数等方法进行随机梯度估计，确保反向传播过程中保持二值约束。
• 正则化项控制输入数据与学习到的二值编码之间的互信息，防止过度正则化。
• 整个网络使用随机梯度下降（SGD）端到端训练，无需交替更新或辅助网络。
• 该方法兼容任意主干网络，仅需增加两个全连接层。

实验结果

研究问题

• RQ1 仅使用带二值瓶颈的简单分类网络，是否可在无需辅助组件的情况下实现监督哈希的最先进性能？
• RQ2 是否可以通过随机梯度估计在反向传播中保持离散约束，从而实现使用梯度下降的端到端训练二值表示模型？
• RQ3 在短码长条件下，该方法在准确率、训练效率与泛化能力方面与现有哈希模型相比如何？
• RQ4 信息瓶颈正则化在提升二值编码中语义表示方面起到何种作用？

主要发现

• JMLH 在 CIFAR-10、NUS-WIDE 和 ImageNet 基准测试中均优于当前最先进方法，在所有码长下均取得更高的 mAP 分数。
• 尽管结构简单，JMLH 的收敛速度比 MIHash 快 10 个周期，展现出更优的训练效率。
• 即使在极短码长（如 4–12 比特）下，JMLH 仍保持强劲性能，得益于保持熵的正则化，其表现优于 GreedyHash 和 DHN。
• t-SNE 可视化结果表明，学习到的 32 比特编码在语义类别间具有良好的分离性，表明实现了有效的语义聚类。
• 消融实验显示，若移除正则化（JMLH-NR），则泛化性能显著下降，凸显基于 IB 的目标函数的重要性。
• 该模型以极简架构实现具有竞争力的性能——总参数量略少于 AlexNet，因而轻量化且高效。