[论文解读] A neuromorphic model of the insect visual system for natural image processing

Adam Hines, Karin Nordström+1 more|arXiv (Cornell University)|Feb 6, 2026

Neurobiology and Insect Physiology Research被引用 0

一句话总结

该论文提出一种生物启发的视觉模型（人工神经网络和脉冲神经网络），通过自监督对比目标将密集图像转换为稀疏的Kenyon细胞编码，并在花卉识别和VPR任务中展示泛化能力。

ABSTRACT

Insect vision supports complex behaviors including associative learning, navigation, and object detection, and has long motivated computational models for understanding biological visual processing. However, many contemporary models prioritize task performance while neglecting biologically grounded processing pathways. Here, we introduce a bio-inspired vision model that captures principles of the insect visual system to transform dense visual input into sparse, discriminative codes. The model is trained using a fully self-supervised contrastive objective, enabling representation learning without labeled data and supporting reuse across tasks without reliance on domain-specific classifiers. We evaluated the resulting representations on flower recognition tasks and natural image benchmarks. The model consistently produced reliable sparse codes that distinguish visually similar inputs. To support different modelling and deployment uses, we have implemented the model as both an artificial neural network and a spiking neural network. In a simulated localization setting, our approach outperformed a simple image downsampling comparison baseline, highlighting the functional benefit of incorporating neuromorphic visual processing pathways. Collectively, these results advance insect computational modelling by providing a generalizable bio-inspired vision model capable of sparse computation across diverse tasks.

研究动机与目标

• 以昆虫视觉处理原理为动力，产生稀疏、判别性表示。
• 开发一个可泛化的视觉模块，同时实现为ANN和SNN两种变体。
• 通过自监督对比学习训练，使任务复用在没有领域特定分类器的情况下成为可能。
• 在花卉识别和自然图像基准测试中评估稀疏性与判别性。

提出的方法

• 将昆虫视觉通路建模为带有 Activation–Normalization 块的CNN，并采用两种归一化策略以模拟局部与全局的稳态。
• 通过稀疏性机制（包括掩码和自适应 k-Winner-Take-All）从投射神经元输出生成一个维度为1,024的稀疏 KC 编码。
• 在类似 SimCLR 的设置中，使用 NT-Xent 对比损失对视觉模块进行训练，以两种增强增强来最大化 KC 表征的一致性。
• 通过将 Leaky ReLU 替换为 Leaky Integrate-and-Fire 神经元并使用时间脉冲输入，实现一个脉冲神经网络（visionSNN）变体。
• 通过视网膜、膜板、中脑和枕状叶样阶段对输入进行处理，产生流向 KC 层的 VPNs（asot、aiot、lot）。
• 使用两阶段归一化：局部响应归一化（LocalResponseNorm）用于局部抑制，GroupNorm用于全局特征归一化，以确保多样性与对比度。

实验结果

研究问题

• RQ1 一个以生物启发、基于昆虫视觉的模块是否能够从未标记的自然图像中学习到有用的稀疏表示？
• RQ2 人工和脉冲实现是否能产生适用于下游任务的判别性、稀疏编码？
• RQ3 时间积累和稀疏编码如何影响花卉识别与视觉地点识别的性能？
• RQ4 KC 表示是否足够具备线性分类器在自然图像数据集上的判别力？
• RQ5 ANN 与 SNN 变体在稀疏性、选择性和任务性能方面的比较如何？

主要发现

• 该模型产生约1,024维的稀疏 KC 表示，每个输入约有50个活动神经元。
• 在 17CFD 的实验2中，视觉在三轮训练内达到40%至75%的分类准确率，最高达到76.6%。
• 脉冲视觉（visionSNN）产生稀疏的 KC 编码并具有较强的类内相似性，但在线性分类性能上不及ANN版本（最高约40%）。
• 在对 17CFD 训练时，脉冲 KC 输出的活动神经元数量显著下降：平均从353降至33，KC神经元选择性从14%提升到76%。
• 观察到 KC Top-K 选择性与类别间重叠度降低，尽管自然图像存在变异，仍表现出鲁棒的稀疏表示。
• 在视觉地点识别任务中，基于余弦相似度的匹配与地面实况对齐，Recall@K 的评估范围至 K=25。