[论文解读] Circulant Binary Embedding

Felix Yu, Sanjiv Kumar+2 more|arXiv (Cornell University)|May 13, 2014

Advanced Image and Video Retrieval Techniques参考文献 25被引用 124

一句话总结

本文提出循环二值嵌入（CBE），一种利用循环投影矩阵实现高维数据快速、低内存二值编码的方法。通过利用快速傅里叶变换（FFT），CBE将时间复杂度从 O(d²) 降低至 O(d log d)，空间复杂度从 O(d²) 降低至 O(d)，在固定时间下实现最先进性能，且在固定位长下无性能损失。

ABSTRACT

Binary embedding of high-dimensional data requires long codes to preserve the discriminative power of the input space. Traditional binary coding methods often suffer from very high computation and storage costs in such a scenario. To address this problem, we propose Circulant Binary Embedding (CBE) which generates binary codes by projecting the data with a circulant matrix. The circulant structure enables the use of Fast Fourier Transformation to speed up the computation. Compared to methods that use unstructured matrices, the proposed method improves the time complexity from $\mathcal{O}(d^2)$ to $\mathcal{O}(d\log{d})$, and the space complexity from $\mathcal{O}(d^2)$ to $\mathcal{O}(d)$ where $d$ is the input dimensionality. We also propose a novel time-frequency alternating optimization to learn data-dependent circulant projections, which alternatively minimizes the objective in original and Fourier domains. We show by extensive experiments that the proposed approach gives much better performance than the state-of-the-art approaches for fixed time, and provides much faster computation with no performance degradation for fixed number of bits.

研究动机与目标

• 解决现有二值嵌入方法在应用于高维数据时计算和存储成本过高的问题。
• 为大规模高维输入数据集高效学习长二值码（O(d)-bit）提供支持。
• 在保持或提升检索和学习性能的同时，降低时间与空间复杂度。
• 开发一种可扩展的数据相关学习方法，确保二值空间中判别能力的保留。

提出的方法

• CBE 使用循环矩阵结构作为投影矩阵 R，通过快速傅里叶变换（FFT）实现 O(d log d) 的时间复杂度。
• 循环结构通过将问题转换到频域（利用FFT和IFFT）实现高效的矩阵-向量乘法。
• 提出一种新颖的时间-频率交替优化方法，通过在时域和频域中迭代优化，学习数据相关的循环投影。
• 优化过程在时域中更新二值码，并在频域中通过二次目标函数迭代优化循环向量。
• 引入正则化项以保持正交性并提升码的质量，且在频域中具有闭式解。
• 通过添加成对相似性/非相似性目标，将该方法扩展至半监督学习，以在二值空间中保持正确距离关系。

实验结果

研究问题

• RQ1 结构化投影矩阵是否能在不损失性能的前提下降低二值嵌入的时间与空间复杂度？
• RQ2 结合FFT的循环矩阵是否能实现超高维数据（如 d ~ 100M）的可扩展二值编码？
• RQ3 时间-频率交替优化是否能生成优于标准方法的数据相关二值码？
• RQ4 在固定时间或固定位长约束下，CBE 与最先进方法在准确率和速度方面的表现如何？

主要发现

• CBE 实现了 O(d log d) 的时间复杂度和 O(d) 的空间复杂度，相较于无结构矩阵的 O(d²) 有显著提升。
• 在固定时间预算下，CBE 在检索准确率方面优于最先进方法，展现出更优的效率。
• 在相同位数约束下，CBE 维持或超越了 ITQ 和双线性编码等更昂贵方法的性能。
• 与非半监督版本相比，CBE 的半监督扩展在 ImageNet-25600 上将 AUC 提升了 2%。
• 实验表明，随着维度增加，CBE 与 ITQ 的性能差距逐渐缩小，表明 CBE 在高维数据中更具可扩展性。