[论文解读] Fast Supervised Discrete Hashing and its Analysis

Gou Koutaki, Keiichiro Shirai+1 more|arXiv (Cornell University)|Nov 30, 2016

Advanced Image and Video Retrieval Techniques参考文献 1被引用 7

一句话总结

本文提出快速有监督离散哈希（FSDH），作为有监督离散哈希（SDH）的简化、数学精确的替代方法，消除了交替优化和初始值依赖的问题。FSDH通过直接求解离散哈希问题的闭式解，在大规模数据集上实现了更高的精度、召回率和计算速度，优于SDH及其他最先进方法，在多个基准测试中表现卓越。

ABSTRACT

In this paper, we propose a learning-based supervised discrete hashing method. Binary hashing is widely used for large-scale image retrieval as well as video and document searches because the compact representation of binary code is essential for data storage and reasonable for query searches using bit-operations. The recently proposed Supervised Discrete Hashing (SDH) efficiently solves mixed-integer programming problems by alternating optimization and the Discrete Cyclic Coordinate descent (DCC) method. We show that the SDH model can be simplified without performance degradation based on some preliminary experiments; we call the approximate model for this the "Fast SDH" (FSDH) model. We analyze the FSDH model and provide a mathematically exact solution for it. In contrast to SDH, our model does not require an alternating optimization algorithm and does not depend on initial values. FSDH is also easier to implement than Iterative Quantization (ITQ). Experimental results involving a large-scale database showed that FSDH outperforms conventional SDH in terms of precision, recall, and computation time.

研究动机与目标

• 解决现有有监督离散哈希方法（如SDH）存在的计算效率低下和初始化敏感问题。
• 基于初步实验的实证观察，简化SDH模型而不损失性能。
• 为简化后的模型推导出数学上精确的解，实现无需迭代优化的直接计算。
• 提升大规模二值哈希应用中学习时间和实现复杂度的可扩展性与效率。
• 在基准数据集上实现精度、召回率和计算时间的最先进性能。

提出的方法

• FSDH通过移除交替优化循环，并用权重矩阵W的闭式解替代，简化了SDH的公式。
• 该方法通过推导W的精确解析解，直接求解矩阵分解问题F = W^T B，避免了迭代优化。
• 通过基于W^T X符号的阈值规则更新二值码B，确保输出为离散值，无需松弛或交替步骤。
• 该方法对初始值不敏感，且无需为收敛性调整超参数。
• 算法仅需三行MATLAB代码即可实现，显著简化了部署，相比ITQ或SDH更为简便。
• 该方法保持位可扩展性，因学习时间与性能均与码长L无关。

实验结果

研究问题

• RQ1 能否基于实证证据在不降低性能的前提下简化SDH模型？
• RQ2 简化后的FSDH模型是否具有数学上精确的解，从而消除对迭代优化的依赖？
• RQ3 FSDH能否在大规模数据集上实现优于SDH及其他最先进哈希方法的精度与召回率？
• RQ4 如所宣称，FSDH是否真正与初始值无关且无需超参数调优？
• RQ5 FSDH在不同码长L下是否保持或提升性能，从而证明其位可扩展性？

主要发现

• 在所有评估数据集（包括CIFAR-10、SUN-10和MNIST）上，FSDH在所有码长L=16至128范围内均实现了高于SDH的精度与召回率。
• 在CIFAR-10数据集上，当L=128时，FSDH的平均平均精度（MAP）达到0.899，优于SDH的0.866，显示出显著的性能提升。
• 在MNIST数据集上，当L=128时，FSDH的MAP达到0.969，优于SDH的0.948和COSDISH的0.863。
• FSDH在所有数据集上的W-loss（重构误差）均低于SDH，在L=128时，CIFAR-10的W-loss降低了30%。
• FSDH在SUN-10和MNIST上的P-loss（投影误差）也更低，L=128时分别为428.98和448.12，表明投影质量更优。
• FSDH在计算上比SDH更快，学习时间与码长无关，且仅需三行MATLAB代码即可实现。