[论文解读] An ensemble diversity approach to supervised binary hashing

Miguel Á. Carreira-Perpiñán, Ramin Raziperchikolaei|arXiv (Cornell University)|Feb 4, 2016

Advanced Image and Video Retrieval Techniques被引用 7

一句话总结

本文提出一种基于集成多样性思想的监督二值哈希方法，通过使用单比特拉普拉斯损失函数独立训练每个哈希函数比特，同时借助特征子集选择和数据洗牌等集成技术来强制实现多样性。令人惊讶的是，这种简单且可并行化的训练方法在图像检索任务中表现优于复杂的耦合优化方法，实现了最先进的精确率与召回率。

ABSTRACT

Binary hashing is a well-known approach for fast approximate nearest-neighbor search in information retrieval. Much work has focused on affinity-based objective functions involving the hash functions or binary codes. These objective functions encode neighborhood information between data points and are often inspired by manifold learning algorithms. They ensure that the hash functions differ from each other through constraints or penalty terms that encourage codes to be orthogonal or dissimilar across bits, but this couples the binary variables and complicates the already difficult optimization. We propose a much simpler approach: we train each hash function (or bit) independently from each other, but introduce diversity among them using techniques from classifier ensembles. Surprisingly, we find that not only is this faster and trivially parallelizable, but it also improves over the more complex, coupled objective function, and achieves state-of-the-art precision and recall in experiments with image retrieval.

研究动机与目标

• 为解决监督哈希中耦合二值哈希函数的优化挑战，该挑战因二值变量之间的耦合而计算成本高昂且难以求解。
• 探究在独立训练哈希函数的同时通过强制多样性是否能实现优于传统耦合优化方法的性能。
• 通过解耦比特级训练过程来简化优化流程，同时保持或提升检索准确性。
• 证明基于集成思想的多样性技术可有效替代二值哈希中复杂的惩罚项或约束项。

提出的方法

• 使用单比特拉普拉斯损失函数独立训练每个哈希函数比特，避免比特之间的耦合。
• 通过集成学习技术（如随机特征子集选择和数据洗牌）在哈希函数之间强制实现多样性。
• 采用形式为 L(zn, zm; ynm) = ynm ∥zn − zm∥² 的单比特目标函数，其中 zn ∈ {−1, +1} 是输入 x 的二值编码。
• 在训练后对每个比特独立应用标准二分类方法（如线性SVM），确保每个比特学习到不同的决策边界。
• 通过在不同随机特征子集或数据点子集上训练每个比特来引入多样性，防止生成相同或冗余的哈希函数。
• 使用最终的集成投票机制结合所有比特的预测结果以实现检索，从而提升整体精确率与召回率。

实验结果

研究问题

• RQ1 在监督哈希中，是否可以通过无耦合约束的独立比特训练，实现与最先进耦合优化方法相当或更优的性能？
• RQ2 通过集成技术（如特征子集选择和数据洗牌）引入多样性，是否能有效防止所有比特趋于相同而导致的平凡解？
• RQ3 在图像检索基准测试中，独立训练的哈希函数在精确率与召回率方面与KSH或BRE等复杂约束优化方法相比表现如何？
• RQ4 更简单的、可并行化的训练流程是否能超越依赖特征分解或交替优化的复杂非并行化方法？
• RQ5 增加比特数量对所提出的独立哈希方法的检索性能有何影响？

主要发现

• 所提出的具有集成多样性特性的独立哈希方法在多个图像检索数据集上实现了最先进的精确率与召回率，优于KSH和BRE等复杂耦合优化方法。
• 通过特征和数据子集选择强制多样性，独立训练每个比特的策略显著优于联合训练所有比特并施加耦合约束的方法。
• 该方法具有天然的可并行性，相比传统方法（需求解大规模耦合优化问题）可实现更快的训练速度。
• 在CIFAR-10和NUS-WIDE数据集上，该方法在mAP指标上优于KSHcut及其他最先进基线方法，尤其在比特数增加时优势更明显。
• 在无监督的Flickr-1M数据集上，该方法（ILHt）优于LSH及其他基线方法，表明其在无真实标签情况下仍具备强大鲁棒性。
• 通过归一化点积矩阵的Frobenius范数衡量，该方法保持了哈希函数之间的高正交性，表明多样性被有效强制实现。