[论文解读] Locality-Sensitive Hashing with Margin Based Feature Selection

Makiko Konoshima, Yui Noma|arXiv (Cornell University)|Sep 26, 2012

Advanced Image and Video Retrieval Techniques参考文献 10被引用 3

一句话总结

本文提出 S-LSH，一种基于边缘的特征选择局部敏感哈希方法，可从高维数据中学习超平面，从而在标签数量多且标签分布稀疏的场景下提升搜索准确性。通过从更大的候选超平面集合中选择最优比特，S-LSH 在指纹、语音和图像数据等高标签多样性、低标签基数场景下，显著优于 LSH、MLH 和 SH。

ABSTRACT

We propose a learning method with feature selection for Locality-Sensitive Hashing. Locality-Sensitive Hashing converts feature vectors into bit arrays. These bit arrays can be used to perform similarity searches and personal authentication. The proposed method uses bit arrays longer than those used in the end for similarity and other searches and by learning selects the bits that will be used. We demonstrated this method can effectively perform optimization for cases such as fingerprint images with a large number of labels and extremely few data that share the same labels, as well as verifying that it is also effective for natural images, handwritten digits, and speech features.

研究动机与目标

• 解决在处理具有许多标签和稀疏标签分布的高维数据时，局部敏感哈希方法搜索准确率低的问题。
• 克服现有基于学习的 LSH 方法（如 MLH）的局限性，后者需要可微分损失函数，且在大比特数下存在收敛缓慢和可扩展性差的问题。
• 开发一种特征选择机制，避免在大规模解空间中进行穷举优化，同时保持高搜索准确性。
• 在多种数据类型（包括指纹图像、语音特征、手写数字和自然图像）中展示方法的有效性。
• 证明从更大超平面池中基于边缘选择比特，可提升 1:N 生物识别任务中的泛化能力和鲁棒性。

提出的方法

• 该方法使用随机投影生成大量候选超平面（记为 $ \tilde{B} $），从输入特征向量生成长度为 $ \tilde{B} $ 的比特数组。
• 从这 $ \tilde{B} $ 个比特中，执行特征选择，以识别出 $ B $ 个比特的较小子集（例如 $ B = 1024 $），使其最大化同标签与不同标签数据对之间的边缘分离。
• 选择过程采用基于边缘的准则，优先选择同标签对之间汉明距离最小、不同标签对之间汉明距离最大的比特。
• 最终比特数组仅由 $ \tilde{B} $-比特表示中最具区分力的 $ B $ 个比特组成，从而提升汉明距离与真实相似度的相关性。
• 该方法不假设目标函数的可微性，因此即使在大比特数下也能实现高效优化。
• 学习过程在训练样本数和 $ \tilde{B} $ 上呈线性关系，相比基于优化的方法（如 MLH），具有更好的可扩展性。

实验结果

研究问题

• RQ1 基于边缘的特征选择策略是否能提升在具有许多标签和低标签基数的高维数据中局部敏感哈希的准确性？
• RQ2 所提出的 S-LSH 方法在错误率和可扩展性方面，与传统 LSH 及基于学习的方法（如 MLH 和 SH）相比如何？
• RQ3 从更大的候选超平面池中选择（即 $ \tilde{B} > B $）是否能带来比直接优化 $ B $ 个超平面更好的泛化能力？
• RQ4 在哪些类型的数据中——如指纹图像、语音、手写数字或自然图像——该方法相较于基线方法展现出最显著的性能提升？
• RQ5 当标签分布高度不平衡（即标签众多但每类仅有少量样本）时，该方法表现如何？

主要发现

• 在所有测试数据集（LabelMe、MNIST、语音、指纹）中，S-LSH 在 1,024 比特下实现了最低错误率，优于 LSH、SH 和 MLH。
• 在指纹数据上，随着比特数增加，S-LSH 的错误率持续低于 LSH 和 MLH，且在高比特数下提升最为显著。
• 在 MNIST 数据集上，MLH 略优于 S-LSH，但 S-LSH 在其余所有数据集（包括高标签数和低标签基数的数据集）中表现最佳。
• S-LSH 的处理时间显著高于 LSH（例如指纹数据为 9,131.7 秒），但仍在可接受范围内且具备可扩展性，其时间复杂度与训练数据量和 $ \tilde{B} $ 呈线性关系。
• S-LSH 在高标签、低基数场景下表现出强鲁棒性，例如在约 1,300 个标签、每类仅 7 个样本的指纹图像中，传统方法（如 MLH）无法提升性能，而 S-LSH 仍表现优异。
• 性能排名（表 2）证实，S-LSH 在 LabelMe（第 1 名）、MNIST（第 2 名）、语音（第 1 名）和指纹（第 1 名）中均为最优方法，表明其具有广泛适用性。