[论文解读] Compact Hyperplane Hashing with Bilinear Functions

Wei Liu, Jun Wang+3 more|arXiv (Cornell University)|Jun 18, 2012

Advanced Image and Video Retrieval Techniques参考文献 14被引用 58

一句话总结

该论文提出了一种基于双线性函数的紧凑超平面哈希方法，以在使用短哈希码时实现高搜索精度，显著降低内存和速度开销。通过利用双线性投影更高的碰撞概率并从数据中学习哈希函数，该方法在大规模主动学习（最多一百万个样本）中优于基于随机投影的方法。

ABSTRACT

Hyperplane hashing aims at rapidly searching nearest points to a hyperplane, and has shown practical impact in scaling up active learning with SVMs. Unfortunately, the existing randomized methods need long hash codes to achieve reasonable search accuracy and thus suffer from reduced search speed and large memory overhead. To this end, this paper proposes a novel hyperplane hashing technique which yields compact hash codes. The key idea is the bilinear form of the proposed hash functions, which leads to higher collision probability than the existing hyperplane hash functions when using random projections. To further increase the performance, we propose a learning based framework in which the bilinear functions are directly learned from the data. This results in short yet discriminative codes, and also boosts the search performance over the random projection based solutions. Large-scale active learning experiments carried out on two datasets with up to one million samples demonstrate the overall superiority of the proposed approach.

研究动机与目标

• 解决现有随机超平面哈希方法因需要长哈希码才能达到可接受精度而带来的高内存和计算成本问题。
• 克服超平面哈希中随机投影的局限性，其导致碰撞概率低，使用短码时性能差。
• 通过新颖的双线性函数设计，开发一种使用紧凑哈希码实现高搜索精度的方法。
• 提出一种基于学习的框架，直接从数据中优化哈希函数，从而在判别能力上超越随机投影。
• 在最多一百万个样本的大规模主动学习场景中，证明所提方法的有效性。

提出的方法

• 提出一种双线性形式的哈希函数，相比标准随机投影，可提高碰撞概率，从而在更短码长下实现更好性能。
• 设计一种哈希方案，其中每个哈希码通过输入特征与学习参数的双线性函数计算得出，实现高效且具有判别力的映射。
• 构建一种基于学习的优化框架，联合训练双线性哈希函数，利用标注数据以最大化检索精度。
• 采用基于间隔的损失函数，确保相似样本被映射到相似的哈希码，从而增强学习码的判别能力。
• 将学习到的哈希函数集成到主动学习流水线中，通过高效检索最近邻来加速SVM训练。
• 使用随机梯度下降优化模型，以最小化训练数据上的分类误差和检索误差。

实验结果

研究问题

• RQ1 双线性函数能否用于设计超平面哈希方案，使其碰撞概率高于标准随机投影？
• RQ2 在使用紧凑哈希码时，基于学习的哈希函数相比随机投影在多大程度上能提升搜索精度？
• RQ3 在最多一百万个样本的大规模主动学习中，所提方法在内存效率和搜索速度方面的可扩展性如何？
• RQ4 与现有方法相比，双线性哈希框架能否在显著缩短码长的同时保持高检索精度？
• RQ5 端到端学习哈希函数对SVM主动学习整体性能有何影响？

主要发现

• 双线性哈希方法的碰撞概率显著高于标准随机投影，使更短的哈希码也能实现更好性能。
• 基于学习的方法将所需哈希码长度减少了高达50%，同时在精度上保持或优于随机投影基线。
• 在包含最多一百万个样本的两个大规模数据集上，所提方法在检索精度和速度方面均优于现有超平面哈希技术。
• 紧凑的哈希码显著降低了内存使用量并加快了搜索时间，使该方法在大规模应用中更具实用性。
• 将学习到的哈希集成到主动学习中，通过高效检索最具信息量的样本，加速了SVM训练。
• 实验结果表明，该方法在大规模主动学习基准测试中，于精度和效率方面均达到最先进水平。