[论文解读] Learning Hash Functions Using Column Generation

Xi Li, Guosheng Lin+3 more|arXiv (Cornell University)|Mar 2, 2013

Algorithms and Data Compression参考文献 24被引用 85

一句话总结

该论文提出CGHash，一种基于列生成的新型方法，用于在大规模凸优化框架内，利用基于三元组的邻近性约束学习数据相关的哈希函数。通过迭代选择最优哈希函数并确保全局收敛，CGHash在多个基准数据集上实现了使用紧凑二进制码的最先进检索性能。

ABSTRACT

Fast nearest neighbor searching is becoming an increasingly important tool in solving many large-scale problems. Recently a number of approaches to learning data-dependent hash functions have been developed. In this work, we propose a column generation based method for learning data-dependent hash functions on the basis of proximity comparison information. Given a set of triplets that encode the pairwise proximity comparison information, our method learns hash functions that preserve the relative comparison relationships in the data as well as possible within the large-margin learning framework. The learning procedure is implemented using column generation and hence is named CGHash. At each iteration of the column generation procedure, the best hash function is selected. Unlike most other hashing methods, our method generalizes to new data points naturally; and has a training objective which is convex, thus ensuring that the global optimum can be identified. Experiments demonstrate that the proposed method learns compact binary codes and that its retrieval performance compares favorably with state-of-the-art methods when tested on a few benchmark datasets.

研究动机与目标

• 解决多媒体检索和网络搜索等大规模数据应用中对高效、可扩展相似性搜索的需求。
• 通过学习保留语义邻近性的数据相关哈希函数，克服数据无关哈希（如LSH）的局限性。
• 利用基于三元组的相对距离约束（x比x−更接近x+）制定哈希函数学习的凸优化问题。
• 尽管候选哈希函数数量呈指数级增长，仍能实现学习目标的全局优化。
• 开发一个灵活的框架，支持多种类型的哈希函数（线性、决策桩、RBF）和损失函数。

提出的方法

• 将哈希学习问题建模为使用凸代理损失函数处理三元组约束的大-margin优化任务。
• 将学习目标建模为具有指数级变量数量（每个潜在哈希函数对应一个变量）的线性规划问题，直接求解不可行。
• 应用列生成技术，在每次迭代中迭代识别最违反约束的（即最具收益的）哈希函数。
• 在每次迭代中，求解定价子问题以找到能改进当前解的最优新哈希函数。
• 使用对偶变量更新所选哈希函数在加权汉明距离计算中的权重。
• 由于整体优化问题的凸性，确保收敛至全局最优解。

实验结果

研究问题

• RQ1 基于列生成的方法能否有效学习保留高维数据中相对邻近关系的数据相关哈希函数？
• RQ2 所提出的方法是否在保持紧凑二进制码的同时，优于最先进的哈希技术？
• RQ3 与现有哈希方法相比，该框架在未见数据点上的泛化能力如何？
• RQ4 该方法的凸优化公式在多大程度上确保了全局收敛性和稳定性？
• RQ5 该框架能否灵活扩展以支持不同类型的哈希函数和损失函数？

主要发现

• 在六个基准数据集上，CGHash 的精确率-召回率曲线下面积均大于所有对比方法，表明其检索质量更优。
• 该方法在前50名检索结果中始终能检索到更高比例的真实最近邻，且在ITQ、SPH和AGH等方法上表现出统计显著的改进。
• 在K-最近邻分类中，CGHash 的错误率低于最先进的基线方法，尤其在较长码长时表现更优。
• 随着K在K-NN分类中增大，CGHash 的性能持续提升，表明其具备鲁棒性和泛化能力。
• 在MNIST和LABELME数据集上的实验表明，检索结果在视觉上准确，证实了该方法在真实应用中的有效性。
• 超参数C对性能影响极小，表明该方法稳定且对超参数调优不敏感。