[论文解读] Bio-Inspired Hashing for Unsupervised Similarity Search

Chaitanya K. Ryali, J. J. Hopfield+2 more|arXiv (Cornell University)|Jan 14, 2020

Advanced Image and Video Retrieval Techniques参考文献 54被引用 7

一句话总结

该论文提出 BioHash，一种数据驱动的、受生物启发的哈希算法，利用一种生物上合理的学习规则生成稀疏的高维二值编码，在 CIFAR-10 和 MNIST 等基准数据集上，其性能优于现有无监督哈希方法，包括基于深度学习的方法，尤其在低码长条件下表现更优。

ABSTRACT

The fruit fly Drosophila's olfactory circuit has inspired a new locality sensitive hashing (LSH) algorithm, FlyHash. In contrast with classical LSH algorithms that produce low dimensional hash codes, FlyHash produces sparse high-dimensional hash codes and has also been shown to have superior empirical performance compared to classical LSH algorithms in similarity search. However, FlyHash uses random projections and cannot learn from data. Building on inspiration from FlyHash and the ubiquity of sparse expansive representations in neurobiology, our work proposes a novel hashing algorithm BioHash that produces sparse high dimensional hash codes in a data-driven manner. We show that BioHash outperforms previously published benchmarks for various hashing methods. Since our learning algorithm is based on a local and biologically plausible synaptic plasticity rule, our work provides evidence for the proposal that LSH might be a computational reason for the abundance of sparse expansive motifs in a variety of biological systems. We also propose a convolutional variant BioConvHash that further improves performance. From the perspective of computer science, BioHash and BioConvHash are fast, scalable and yield compressed binary representations that are useful for similarity search.

研究动机与目标

• 开发一种受果蝇等生物嗅觉系统中稀疏扩展神经结构启发的数据驱动哈希算法。
• 通过利用生物上合理的突触可塑性规则（特别是带除法归一化的赫布可塑性）来提升无监督相似性搜索性能。
• 证明稀疏高维表征可实现优于经典低维 LSH 和基于深度学习的哈希方法的检索准确率。
• 通过将其与高效的局部敏感哈希联系起来，为生物神经系统中稀疏扩展电路的普遍性提供计算解释。

提出的方法

• BioHash 使用两层前馈网络，其中隐藏层为稀疏高维层（m >> d），将输入数据映射为二值编码。
• 隐藏层应用局部赫布式可塑性规则并结合除法归一化，以强制实现稀疏性并促进学习特征的正交化。
• 该算法通过一种生物上合理的更新规则学习变换权重，该规则强化活跃前突触与后突触神经元之间的连接。
• 通过 k-赢家独占（k-WTA）动力学与反馈抑制实现稀疏化，确保每输入仅激活前 k 个神经元。
• 卷积变体 BioConvHash 将该方法扩展至卷积架构，以提升图像数据的性能。
• 最终的哈希编码为隐藏层中活跃神经元的二值表示，支持快速汉明距离计算，适用于相似性搜索。

实验结果

研究问题

• RQ1 与基于随机投影的方法（如 FlyHash）相比，数据驱动的、受生物启发的学习规则是否能产生更优的哈希性能？
• RQ2 在哈希中引入除法归一化与赫布可塑性是否能提升对输入变化的鲁棒性并提高检索准确率？
• RQ3 从生物神经结构中衍生出的稀疏高维表征是否能在无监督相似性搜索中超越低维或基于深度学习的哈希方法？
• RQ4 是否存在计算上的合理性解释，说明为何稀疏扩展电路在生物神经系统中广泛存在，例如作为相似性检测的 LSH？

主要发现

• 在 CIFAR-10CNN 上，BioHash 在 mAP@1000 上达到最先进性能，k=32 时为 64.61%，k=16 时为 63.47%，显著优于 GreedyHash、SAH 和 DeepBit 等方法。
• 在 k=2 时，BioHash 在 CIFAR-10CNN 上达到 57.33% 的 mAP，超过 FlyHash（25.67%）和 PCAHash（21.89%），表明其在极短码长下仍具强大性能。
• 当 k=2（m=40）时，BioHash 每样本仅消耗 12 位存储开销，却优于其他方法在 k=16 时的表现，凸显其高效性与有效性。
• 卷积变体 BioConvHash 进一部提升了性能，表明该方法能良好泛化至分层卷积数据表征。
• 由于学习规则中引入了除法归一化，BioHash 对局部强度变化表现出鲁棒性。
• 结果支持如下假设：稀疏扩展神经回路可能在生物系统中充当局部敏感哈希的计算基础。