[论文解读] Generative Semantic Hashing Enhanced via Boltzmann Machines

Lin Zheng, Qinliang Su+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Image and Video Retrieval Techniques参考文献 28被引用 4

一句话总结

该论文提出了一种新颖的生成式语义哈希模型，通过使用玻尔兹曼机作为变分后验分布，引入哈希码位之间的相关性，克服了先前方法中对独立性的假设。通过重新参数化玻尔兹曼分布并推导出渐近精确的证据下界（ELBO）下界，该模型实现了高效的端到端训练，并在多个基准测试中实现了最先进检索性能，且在代码长度增加时无性能下降。

ABSTRACT

Generative semantic hashing is a promising technique for large-scale information retrieval thanks to its fast retrieval speed and small memory footprint. For the tractability of training, existing generative-hashing methods mostly assume a factorized form for the posterior distribution, enforcing independence among the bits of hash codes. From the perspectives of both model representation and code space size, independence is always not the best assumption. In this paper, to introduce correlations among the bits of hash codes, we propose to employ the distribution of Boltzmann machine as the variational posterior. To address the intractability issue of training, we first develop an approximate method to reparameterize the distribution of a Boltzmann machine by augmenting it as a hierarchical concatenation of a Gaussian-like distribution and a Bernoulli distribution. Based on that, an asymptotically-exact lower bound is further derived for the evidence lower bound (ELBO). With these novel techniques, the entire model can be optimized efficiently. Extensive experimental results demonstrate that by effectively modeling correlations among different bits within a hash code, our model can achieve significant performance gains.

研究动机与目标

• 为解决现有生成式语义哈希模型中独立位假设的局限性，该局限性限制了表征能力与码空间效率。
• 实现对哈希码位之间复杂相关性的有效建模，以提升语义表征质量。
• 为基于玻尔兹曼机的变分后验分布开发一种可处理的训练方法，此类方法因归一化常数问题而通常难以处理。
• 在保持计算效率的前提下，实现语义哈希模型的端到端、无标签训练。

提出的方法

• 提出使用玻尔兹曼机分布作为非因子化的变分后验分布，以建模二进制哈希码位之间的依赖关系。
• 将玻尔兹曼分布重新表述为高斯型分布与伯努利分布的分层连接形式，以支持梯度优化的重参数化。
• 推导证据下界（ELBO）的渐近精确下界，以处理玻尔兹曼机中难以计算的归一化常数。
• 在高斯分量中引入协方差矩阵的低秩扰动，以平衡模型复杂度与计算成本。
• 使用k个分量的混合模型近似后验分布，且随着k的增加，边界紧致性提高。
• 通过重参数化梯度与推导的ELBO边界，实现基于反向传播的端到端训练。

实验结果

研究问题

• RQ1 建模哈希码位之间的相关性是否能提升生成式语义哈希中的检索性能？
• RQ2 如何有效处理玻尔兹曼机后验分布中难以计算的归一化项，以实现高效训练？
• RQ3 引入位之间的结构化依赖关系是否能防止代码长度增加时的性能退化？
• RQ4 基于玻尔兹曼机的非因子化后验是否能被有效重参数化以支持基于梯度的优化？
• RQ5 超参数v（低秩维度）和k（混合分量数）如何影响模型性能及性能权衡？

主要发现

• 在所有三个公开数据集上，所提模型在所有对比模型中均取得最高检索精度，使用64位码在Reuters数据集上达到0.8465的精度。
• 随着秩参数v的增加，性能单调提升，其中v=0到v=1之间的增益最大，表明即使低阶相关性也能带来显著收益。
• 与独立位模型中常见的性能下降趋势相反，该模型在代码长度增加时仍能保持或提升性能。
• 使用更多混合分量（k）可获得更紧的ELBO边界并提升检索精度，其中k=10时达到最佳性能。
• 当v=10且k=10时，该模型在Reuters数据集上达到0.8465的精度，显著优于NASH（v=0时为0.7812），且在v>10后性能提升微弱。
• 在20Newsgroups上的可视化显示，所提模型生成的哈希码在语义上最具可分性，各类别间形成清晰的聚类。