[论文解读] Binary embeddings with structured hashed projections

Anna Choromanska, Krzysztof Choromański+4 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Image and Video Retrieval Techniques参考文献 43被引用 26

一句话总结

本文提出使用具有有限‘随机性预算’的伪随机矩阵进行结构化哈希投影，以高效地将高维数据压缩为保持角度距离的二值嵌入。该研究在理论上将Johnson-Lindenstrauss引理扩展至包含非线性符号映射的情形，证明了如循环矩阵、托普利茨矩阵等结构化矩阵能够保持距离准确性，从而在深度学习和最近邻系统中实现快速、低内存计算，且性能损失极小。

ABSTRACT

We consider the hashing mechanism for constructing binary embeddings, that involves pseudo-random projections followed by nonlinear (sign function) mappings. The pseudo-random projection is described by a matrix, where not all entries are independent random variables but instead a fixed "budget of randomness" is distributed across the matrix. Such matrices can be efficiently stored in sub-quadratic or even linear space, provide reduction in randomness usage (i.e. number of required random values), and very often lead to computational speed ups. We prove several theoretical results showing that projections via various structured matrices followed by nonlinear mappings accurately preserve the angular distance between input high-dimensional vectors. To the best of our knowledge, these results are the first that give theoretical ground for the use of general structured matrices in the nonlinear setting. In particular, they generalize previous extensions of the Johnson-Lindenstrauss lemma and prove the plausibility of the approach that was so far only heuristically confirmed for some special structured matrices. Consequently, we show that many structured matrices can be used as an efficient information compression mechanism. Our findings build a better understanding of certain deep architectures, which contain randomly weighted and untrained layers, and yet achieve high performance on different learning tasks. We empirically verify our theoretical findings and show the dependence of learning via structured hashed projections on the performance of neural network as well as nearest neighbor classifier.

研究动机与目标

• 从理论上证明在非线性二值哈希中使用一般结构化矩阵可保持角度距离。
• 通过在结构化矩阵中分布固定的‘随机性预算’，减少随机投影中的随机性使用量与存储成本。
• 通过理论框架解释深度网络中未训练、随机权重层取得优异性能的实验现象。
• 在监督学习中评估结构化哈希对神经网络与k-NN分类器性能的影响。
• 通过结构化矩阵实现快速矩阵-向量乘法，展示计算效率与内存节省。

提出的方法

• 使用具有固定随机性预算的结构化矩阵（如循环、托普利茨、半移位、二值置换等）代替完全独立的随机元素。
• 使用结构化矩阵进行线性投影，随后应用符号函数（非线性映射）生成二值嵌入。
• 理论分析将Johnson-Lindenstrauss引理扩展至包含非线性映射的情形，证明在哈希空间中保持角度距离。
• 利用快速变换（如FFT）实现高效矩阵-向量乘法，尤其适用于循环与托普利茨矩阵。
• 通过在前馈神经网络与k-NN分类器上进行实验评估，比较不同结构化矩阵与随机基线的性能。
• 在不同矩阵类型（包括随机、二值置换、半移位、结构化矩阵）之间比较内存复杂度、随机性使用量与测试误差。

实验结果

研究问题

• RQ1 在应用符号非线性映射后，具有有限随机性的结构化矩阵是否仍能保持角度距离？
• RQ2 当使用结构化哈希投影进行降维时，神经网络与k-NN分类器的性能如何变化？
• RQ3 在使用结构化矩阵进行二值嵌入时，内存效率、计算速度与准确率之间的权衡如何？
• RQ4 为何深度网络中的未训练、随机权重层仍能取得高性能？该现象能否通过理论框架解释？
• RQ5 哪些结构化矩阵类型在性能、内存效率与随机性减少方面达到最佳平衡？

主要发现

• 理论结果将Johnson-Lindenstrauss引理扩展至包含非线性符号映射的情形，证明结构化矩阵可在哈希空间中保持角度距离。
• 所有测试的结构化矩阵——循环、托普利茨、半移位、变体半移位、二值置换——均达到接近最优的性能，其中二值置换与随机矩阵表现相当。
• 性能退化与数据压缩比（n/k）呈接近线性关系，表明误差增长可预测且稳定。
• 内存复杂度显著降低：结构化矩阵仅需O(n)空间，而密集随机矩阵需O(n²)空间。
• 通过快速变换（如FFT）实现计算加速，尤其在循环与托普利茨矩阵中效果显著，支持高效的矩阵-向量乘法。
• 该方法可在分类准确率损失极小的前提下实现有效的降维，支持在深度网络架构中使用未训练、随机权重的层。