[论文解读] Hashing with binary autoencoders

Miguel Á. Carreira-Perpiñán, Ramin Raziperchikolaei|arXiv (Cornell University)|Jan 5, 2015

Advanced Image and Video Retrieval Techniques参考文献 31被引用 28

一句话总结

本文提出了一种使用辅助坐标法（MAC）训练二值自编码器来学习最优二值哈希函数的方法，该方法在严格二值约束下联合优化编码器、解码器和二值码。该方法在图像检索任务中表现优于或匹配当前最先进方法，在精度/召回率和码字利用率方面均有提升，避免了次优的两步松弛与二值化过程。

ABSTRACT

An attractive approach for fast search in image databases is binary hashing, where each high-dimensional, real-valued image is mapped onto a low-dimensional, binary vector and the search is done in this binary space. Finding the optimal hash function is difficult because it involves binary constraints, and most approaches approximate the optimization by relaxing the constraints and then binarizing the result. Here, we focus on the binary autoencoder model, which seeks to reconstruct an image from the binary code produced by the hash function. We show that the optimization can be simplified with the method of auxiliary coordinates. This reformulates the optimization as alternating two easier steps: one that learns the encoder and decoder separately, and one that optimizes the code for each image. Image retrieval experiments, using precision/recall and a measure of code utilization, show the resulting hash function outperforms or is competitive with state-of-the-art methods for binary hashing.

研究动机与目标

• 解决传统两步哈希方法在优化过程中放松二值约束，随后再对结果进行二值化所导致的次优性问题。
• 开发一种高效的优化框架，在训练过程中始终遵守二值约束，实现哈希函数与二值码的联合学习。
• 通过在二值码空间中保持邻域结构，提升图像检索性能。
• 使用标准指标（精度/召回率）和一种新颖的基于熵的码字利用率度量对方法进行评估。

提出的方法

• 本文提出一种二值自编码器目标函数，旨在最小化输入图像与其从学习到的二值码重建结果之间的重构误差。
• 采用辅助坐标法（MAC）将嵌套优化问题分解为交替进行的简化子问题：先优化编码器/解码器，再对每张图像优化其二值码。
• 对于每张图像，通过利用Beck和Teboulle（2000）以及Jeyakumar等人（2007）推导出的充分全局最优性条件，求解一个二值二次规划问题，实现在二值空间中的快速且精确的搜索。
• 该方法利用凸松弛和充分条件，判断松弛问题的解是否也是二值问题的全局最小解，从而降低计算成本。
• 该算法具有可并行性，所有数据点之间可共享矩阵项（如λ_min和diag(̃q)）的计算，提升训练效率。
• 该框架支持线性和非线性哈希函数，但本文聚焦于线性变体进行实证评估。

实验结果

研究问题

• RQ1 在严格二值约束下联合优化哈希函数与二值码，是否能带来优于基于松弛方法的检索性能？
• RQ2 在该问题为NP难的背景下，二值码优化能否高效完成？
• RQ3 所提出的基于MAC的训练框架是否在码字利用率和重构误差方面优于现有方法？
• RQ4 该方法是否能在不依赖复杂非线性模型或监督信号的情况下，实现具有竞争力或更优的精度与召回率？

主要发现

• 所提方法在与当前最先进二值哈希方法的比较中，即使后者使用非线性函数或更复杂的优化目标，仍能实现具有竞争力或更优的精度与召回率。
• 通过基于熵的度量，方法在码字利用率方面表现更优，表明对二值码空间的使用更加有效且均衡。
• 使用MAC优化的二值码，自编码器的重构误差显著降低，证实了更好的表示学习能力。
• 全局最优性条件使得二值码搜索快速且精确，减少了对穷举搜索的依赖，同时确保高质量解。
• 该方法计算高效且可并行化，关键项（如λ_min、diag(̃q)）可在所有训练样本间共享计算。
• 结果证实，从二值空间开始直接优化——而非对连续解进行二值化——能带来更优的整体性能。