[논문 리뷰] A neuromorphic model of the insect visual system for natural image processing

Adam Hines, Karin Nordström외 1명|arXiv (Cornell University)|2026. 02. 06.

Neurobiology and Insect Physiology Research인용 수 0

한 줄 요약

이 논문은 생체 모사 비전 모델(ANN 및 SNN)이 dense 이미지를 self-supervised contrastive objective를 통해 sparse Kenyon cell 코드로 변환하고, 꽃 인식 및 VPR 작업에서 일반화 성과를 보임을 제시한다.

ABSTRACT

Insect vision supports complex behaviors including associative learning, navigation, and object detection, and has long motivated computational models for understanding biological visual processing. However, many contemporary models prioritize task performance while neglecting biologically grounded processing pathways. Here, we introduce a bio-inspired vision model that captures principles of the insect visual system to transform dense visual input into sparse, discriminative codes. The model is trained using a fully self-supervised contrastive objective, enabling representation learning without labeled data and supporting reuse across tasks without reliance on domain-specific classifiers. We evaluated the resulting representations on flower recognition tasks and natural image benchmarks. The model consistently produced reliable sparse codes that distinguish visually similar inputs. To support different modelling and deployment uses, we have implemented the model as both an artificial neural network and a spiking neural network. In a simulated localization setting, our approach outperformed a simple image downsampling comparison baseline, highlighting the functional benefit of incorporating neuromorphic visual processing pathways. Collectively, these results advance insect computational modelling by providing a generalizable bio-inspired vision model capable of sparse computation across diverse tasks.

연구 동기 및 목표

• 곤충 시각 처리 원리를 활용해 sparse하고 구분 가능한 표현을 생성하는 동기를 제시한다.
• ANN 및 SNN 변형으로 구현된 일반화 가능한 비전 모듈을 개발한다.
• 도메인 특화 분류기가 필요 없는 작업 재사용을 가능하게 하는 self-supervised contrastive 학습으로 학습한다.
• 꽃 인식 및 자연 이미지 벤치마크에서 희소성 및 차별성을 평가한다.

제안 방법

• 박막에서 Activation–Normalization 블록을 가진 CNN으로 곤충 시각 경로를 모델링하고 국소 및 전 global 항상성을 모방하기 위해 두 가지 정규화 전략을 사용한다.
• 프로젝션 뉴런 출력에서 masking 및 adaptive k-Winner-Take-All를 포함한 희소성 메커니즘으로 1,024 차원의 Kenyon cell(KC) 코드를 생성한다.
• KC 표현 일치를 극대화하기 위해 두 가지 증강으로 SimCLR 유사 구조에서 NT-Xent 대조 손실로 비전 모듈을 학습한다.
• Leaky ReLU를 Leaky Integrate-and-Fire 뉴런으로 교체하고 시간적 스파이크 입력을 사용하여 스파이킹 신경망(visionSNN) 변형을 구현한다.
• 망막, 라미나, 메둘라, 로볼라 유사 단계들을 통해 VPNs(asot, aiot, lot)를 KC 층으로 feed하는 과정을 처리한다.
• 로컬 억제에는 LocalResponseNorm, 글로벌 특징 정규화에는 GroupNorm을 사용한 이주적 정규화를 통해 다양성과 대비를 보장한다.

실험 결과

연구 질문

• RQ1 생물 영감의 곤충 시각 기반 모듈이 라벨링되지 않은 자연 이미지에서 유용한 희소 표현을 학습할 수 있는가?
• RQ2 곤충 영감 비전 모델의 인공 구현과 스파이킹 구현이 다운스트림 작업에 적합한 구분적 희소 코드를 생성하는가?
• RQ3 시간적 누적 및 희소 코딩이 꽃 인식 및 시각적 장소 인식 성능에 어떻게 영향을 미치는가?
• RQ4 KC 표현이 자연 이미지 데이터셋에서 선형 분류기를 지원할 만큼 충분히 구별적인가?
• RQ5 ANN과 SNN 변형은 희소성, 선택성, 작업 성능 측면에서 어떻게 비교되는가?

주요 결과

• 모델은 입력당 약 1,024 차원의 희소 KC 표현과 약 50개의 활성 뉴런을 생성한다.
• Experiment 2의 17CFD에서 비전은 세 번의 학습 에포크 내에 40%에서 75%의 분류 정확도를 달성, 최고 76.6%에 도달했다.
• 스파iking 비전(visionSNN)은 희소 KC 코드를 생성하고 클래스 내 유사성이 강하지만, 선형 분류 성능은 ANN 버전만큼 좋지 못하며 최고 약 40%의 정확도에 그친다.
• 스파이킹 KC 출력은 17CFD 학습 시 활성 뉴런 수가 평균 353에서 33으로 크게 감소했고 KC 뉴런 선택성이 14%에서 76%로 증가했다.
• KC Top-K 선택성과 클래스 간 중복 감소가 관찰되어 자연 이미지의 변동성에도 불구하고 강력한 희소 표현이 형성됨을 시사한다.
• 시각적 장소 인식 작업에서 코사인 유사도 기반 매칭이 지상 진실과 일치했고 Recall@K는 K=25까지 평가되었다.