[論文レビュー] Mapping Connectomic Structure to Function(s) in Cerebellar-like Networks using Kernel Regression

William Dorrell, Peter E. Latham|arXiv (Cornell University)|Jan 14, 2026

Neurobiology and Insect Physiology Research被引用数 0

ひとこと要約

論文は構造化された小脳様の接続性と学習性能をカーネル回帰を通じて分析的に結びつけ、偏りのある投影とグルーピングが帰納的バイアスと一般化を形成する様子を示す。

ABSTRACT

Cerebellar-like networks, in which input activity patterns are separated by projection to a much higher-dimensional space before classification, are a recurring neurobiological motif, present in the cerebellum, dentate gyrus, insect olfactory system, and electrosensory system of the electric fish. Their relatively well-understood design presents a promising test-case for probing principles of biological learning. The circuits' expansive projections have long been modelled as random, enabling effective general purpose pattern separation. However, electron-microscopy studies have discovered interesting hints of structure in both the fly mushroom body and mouse cerebellum. Recent numerical work suggested that this non-random connectivity enables the circuit to prioritise learning of some, presumably natural, tasks over others. Here, rather than numerical results, we present a robust mathematical link between the observed connectivity patterns and the cerebellar circuit's learning ability. In particular, we extend a simplified kernel regression model of the system and use recent machine learning theory results to relate connectivity to learning. We find that the reported structure in the projection weights shapes the network's inductive bias in intuitive ways: functions are easier to learn if they depend on inputs that are oversampled, or on collections of neurons that tend to connect to the same hidden layer neurons. Our approach is analytically tractable and pleasingly simple, and we hope it continues to serve as a model for understanding the functional implications of other processing motifs in cerebellar-like networks.

研究の動機と目的

• 小脳様ネットワークにおける非ランダムな結合モチーフが学習性能にどう影響するかを理解する。
• 結合構造と帰納的バイアスをカーネル回帰を介して解析的に結ぶ、扱いやすい枠組みを提供する。
• 過剰接続入力や入力のグルーピングが関数の学習可能性にどう影響するかを示す。
• おもちゃモデルを超えたより現実的なネットワーク配置へ洞察を一般化する。

提案手法

• 小脳様回路を固定非線形展開とその後の線形リードアウトとしてモデル化し、カーネル回帰へ写像する。
• 展開層表現 k(x, x') = φ(Jx) · φ(Jx') によってカーネルを定義する。
• 展開重み J の共分散 Σ を持つガウスベースの解析的に扱いやすい共分散モデルを用いる。
• 2つの結合モチーフを検討する： biased connectivity（対角 Σ に不等な分散）と grouped connectivity（ブロック単位で入力が相関）。
• これらのスキームのカーネルを導出し、固有関数/固有値を分析して帰納的バイアスを特徴づける（固有関数の学習可能性は約 κ 与えられた場合 λi/(λi+κ) に対応）。
• 数値計算と生物学的に妥当なスパース性/活性化制約を用いて、より現実的なモデルへ結果を拡張する。

Figure 1: A) Schematic of fly mushroom body circuit. Odorants trigger activity in olfactory receptor neurons (ORNs). ORNs contain a unique receptor protein, signalled by their colour; neurons with the same receptor protein send projections to a shared glormulus. There they synapse onto projection ne

実験結果

リサーチクエスチョン

• RQ1 展開層の構造化された結合性（偏り/グルーピング）がカーネルとその固有構造をどのように変えるか？
• RQ2 偏り結合とグルーピング結合から生じる帰納的バイアスは何であり、それらが入力-出力写像の学習可能性にどう影響するか？
• RQ3 より現実的な、スパースで生物学的に適合したモデルの下でも解析的結論は成り立つか？
• RQ4 結合構造のおかげで cerebellar-like 回路が特定のタスクをより早く学習する状況を本フレームワークは説明できるか？

主な発見

• 構造化された結合性はカーネルを変化させ、表現の類似性と固有構造を変える。
• 偏り結合は過剰接続軸に沿って変化する関数の学習を容易にする。
• 相関性/グルーピング結合は、連結されたグループのメンバーを同様に扱う関数への学習を偏らせる。
• ランダム結合は主に角度的類似性に依存するカーネルとなり、球面調和関数と滑らかさバイアスを生む。
• 固有値スペクトラムで予測される帰納的バイアスのシフトは、観測されたモチーフのタスク特異的な一般化利点を説明する。

Figure 2: A) A single linear layer can only classify linearly seperable data. B) However adding a fixed first layer of nonlinear processing can permit a linear readout layer to perform nonlinear classifications. C) Given any finite dataset there are infinitely many possible generalisations to unseen