[논문 리뷰] Mapping Connectomic Structure to Function(s) in Cerebellar-like Networks using Kernel Regression

William Dorrell, Peter E. Latham|arXiv (Cornell University)|2026. 01. 14.

Neurobiology and Insect Physiology Research인용 수 0

한 줄 요약

논문은 구조적으로 cerebellar-like connectivity를 통해 학습 성능과 kernel regression 간의 연관성을 분석적으로 제시하며, 편향되고 그룹화된 투사들이 귀납적 바이어스와 일반화에 어떤 영향을 주는지 보여준다.

ABSTRACT

Cerebellar-like networks, in which input activity patterns are separated by projection to a much higher-dimensional space before classification, are a recurring neurobiological motif, present in the cerebellum, dentate gyrus, insect olfactory system, and electrosensory system of the electric fish. Their relatively well-understood design presents a promising test-case for probing principles of biological learning. The circuits' expansive projections have long been modelled as random, enabling effective general purpose pattern separation. However, electron-microscopy studies have discovered interesting hints of structure in both the fly mushroom body and mouse cerebellum. Recent numerical work suggested that this non-random connectivity enables the circuit to prioritise learning of some, presumably natural, tasks over others. Here, rather than numerical results, we present a robust mathematical link between the observed connectivity patterns and the cerebellar circuit's learning ability. In particular, we extend a simplified kernel regression model of the system and use recent machine learning theory results to relate connectivity to learning. We find that the reported structure in the projection weights shapes the network's inductive bias in intuitive ways: functions are easier to learn if they depend on inputs that are oversampled, or on collections of neurons that tend to connect to the same hidden layer neurons. Our approach is analytically tractable and pleasingly simple, and we hope it continues to serve as a model for understanding the functional implications of other processing motifs in cerebellar-like networks.

연구 동기 및 목표

• 소뇌 유사 네트워크에서 비무작위 연결 모티프가 학습 성능에 어떤 영향을 미치는지 이해한다.
• 연결 구조를 kernel regression를 통해 귀납적 바이어스와 연결하는 실용적인 해석 프레임워크를 제공한다.
• 과도하게 연결된 입력이나 입력 그룹화가 함수의 학습 가능성에 어떤 영향을 미치는지 보여준다.
• 토이 모델을 넘어 더 현실적인 네트워크 구성에 대한 통찰을 일반화한다.

제안 방법

• 고정된 비선형 확장 뒤에 선형 읽기 단을 두어 cerebellar-like 회로를 모델링하고, 이를 kernel regression에 매핑한다.
• 확장 계층 표현을 통해 커널을 정의한다 k(x, x') = φ(Jx) · φ(Jx').
• 확장 가중치 J에 대해 공분산 Σ를 갖는 가우시안 기반의 해석적으로 다룰 수 있는 공분산 모델을 사용한다.
• 편향된 연결(대각 성분 Σ에 불균등 분산) 및 그룹화된 연결(블록 내 입력 간 상관) 두 가지 연결 모티프를 검토한다.
• 이 스킴들에 대한 커널을 유도하고 고유함수/고유값을 분석하여 귀납적 바이어스 를 특징짓는다(고유함수의 학습 가능성 ≈ λi/(λi+κ)).
• 수치 해석 및 생물학적으로 그럴듯한 희소성/활성 제약 을 통해 더 현실적인 모델로 결과를 확장한다.

Figure 1: A) Schematic of fly mushroom body circuit. Odorants trigger activity in olfactory receptor neurons (ORNs). ORNs contain a unique receptor protein, signalled by their colour; neurons with the same receptor protein send projections to a shared glormulus. There they synapse onto projection ne

실험 결과

연구 질문

• RQ1 확장 계층의 구조화된(편향된/그룹화된) 연결이 커널과 그 고유구조에 어떤 변화를 일으키는가?
• RQ2 편향된 연결과 그룹화된 연결에서 어떤 귀납적 바이어스가 생기며, 그것이 입력-출력 매핑의 학습 가능성에 어떻게 영향을 미치는가?
• RQ3 더 현실적이고 희소하며 생물학적으로 타당한 모델에서 해석적 결론이 성립하는가?
• RQ4 연결 구조로 인해 cerebellar-like 회로가 특정 작업을 더 빨리 학습하는 경우를 이 프레임워크가 설명할 수 있는가?

주요 결과

• 구조화된 연결은 커널을 바꿔 표현 유사성과 고유구조를 바꾼다.
• 편향된 연결은 과도하게 연결된 입력 축을 따라 변화하는 함수의 학습 용이성을 높인다.
• 상관되거나 그룹화된 연결은 연결된 그룹의 구성원을 비슷하게 다루는 함수 학습에 편향을 준다.
• 무작위 연결은 각도 유사성에 주로 의존하는 커널을 낳고, 구면 조화 고유함수와 부드러움 편향이 나타난다.
• 고유값 스펙트럼이 예측하는 귀납적 바이어스 시프트는 관찰된 모티프의 과제별 일반화 이점을 설명한다.

Figure 2: A) A single linear layer can only classify linearly seperable data. B) However adding a fixed first layer of nonlinear processing can permit a linear readout layer to perform nonlinear classifications. C) Given any finite dataset there are infinitely many possible generalisations to unseen