[论文解读] Binary Coding in Stream

Mina Ghashami, Amirali Abdullah|arXiv (Cornell University)|Mar 21, 2015

Advanced Image and Video Retrieval Techniques参考文献 41被引用 3

一句话总结

本文提出SSBC（Streaming Spectral Binary Coding），一种在流式和在线设置下使用矩阵压缩技术学习二进制码字的新方法。该方法在多个真实世界和合成数据集上实现了最先进的精度与召回率表现，优于现有的近似与精确方法，同时在数据假设较温和的条件下保持了理论保证。

ABSTRACT

Big data is becoming ever more ubiquitous, ranging over massive video repositories, document corpuses, image sets and Internet routing history. Proximity search and clustering are two algorithmic primitives fundamental to data analysis, but suffer from the "curse of dimensionality" on these gigantic datasets. A popular attack for this problem is to convert object representations into short binary codewords, while approximately preserving near neighbor structure. However, there has been limited research on constructing codewords in the "streaming" or "online" settings often applicable to this scale of data, where one may only make a single pass over data too massive to fit in local memory. In this paper, we apply recent advances in matrix sketching techniques to construct binary codewords in both streaming and online setting. Our experimental results compete outperform several of the most popularly used algorithms, and we prove theoretical guarantees on performance in the streaming setting under mild assumptions on the data and randomness of the training set.

研究动机与目标

• 解决在数据量过大无法装入内存且仅允许单次遍历的流式或在线设置下学习二进制码字的挑战。
• 在汉明空间中保持数据点之间的相似性结构，同时实现高效、增量式的码字计算。
• 在数据和训练集随机性满足较温和假设的条件下，为流式二进制编码方法的性能提供理论保证。
• 在大规模数据集上，优于现有二进制编码方法在精度、召回率和平均平均精度（MAP）方面的表现。

提出的方法

• 该方法使用矩阵压缩技术，以流式方式维护数据亲和矩阵的紧凑低秩近似。
• 对压缩后的矩阵进行谱分解，提取主导特征向量，再通过基于符号的量化方法生成二进制码字。
• 当新数据到达时，算法增量式地更新压缩矩阵和特征系统，实现无需从头开始重新计算的在线学习。
• 利用随机投影可高效维护压缩矩阵的Frobenius范数和谱性质这一事实。
• 二进制码字源自压缩亲和矩阵的前k个特征向量，确保了相似性结构的保持。
• 该方法设计为内存高效且可扩展，适用于无法存储在主内存中的大规模数据集。

实验结果

研究问题

• RQ1 是否能在仅单次遍历数据且内存受限的流式设置下，有效学习二进制码字？
• RQ2 与批处理和精确方法相比，所提出方法在汉明空间中保持相似性结构（如近邻）的效果如何？
• RQ3 在数据假设较温和的条件下，能否为流式二进制编码方法的性能提供理论保证？
• RQ4 在谱二进制编码流程中使用矩阵压缩，是否能相比现有流式或在线二进制编码算法，提升精度与召回率？
• RQ5 该方法是否能在显著减少内存与计算资源消耗的前提下，优于基于精确SVD的方法，在MAP与召回率方面表现更优？

主要发现

• 在PAMAP、CBM、Uniform和Covtype数据集上，SSBC在所有测试码字长度（k=20至k=50）下均实现了最高精度，持续减少了误报数量。
• 该方法在所有数据集和码字长度下均保持最佳召回率表现，表明其对真实近邻的覆盖能力极强。
• 在精度-召回率曲线中，SSBC形成接近45度的直线，表明其错误率不会随返回候选数增加而上升，体现出良好的鲁棒性。
• 与精确方法（exact-D和exact-R）相比，SSBC在仅使用小规模训练集和完整权重矩阵压缩的前提下，仍实现了更高的平均平均精度（MAP）和召回率。
• 训练过程中对权重矩阵进行列采样有助于防止过拟合，这是其在性能上优于精确方法的重要原因。
• 该算法在真实世界数据集（Covtype、CBM、PAMAP）和合成均匀分布数据上均表现出强劲的实证性能，各项精度指标持续提升。