[論文レビュー] Constrained Predictive Coding as a Biologically Plausible Model of the Cortical Hierarchy

Siavash Golkar, Tiberiu Teşileanu+3 more|arXiv (Cornell University)|Oct 27, 2022

Neural dynamics and brain function被引用数 5

ひとこと要約

この論文では、予測符号化（PC）の生物学的に妥当な変種であるBioCCPCを提案する。対称的重みや別個の値/誤差ニューロンの代わりに、潜在空間の非相関性に基づく制約付き最適化フレームワークを採用する。共分散制約の下で予測符号化目的関数の上界を導出することで、著者らは、非ヘブシアン可塑性を示す多コンpartmentニューロンに自然にマッピングされるアルゴリズムが得られることを示した。これにより、1対1の接続性や信号多重化の必要性が排除されつつ、性能は維持される。

ABSTRACT

Predictive coding has emerged as an influential normative model of neural computation, with numerous extensions and applications. As such, much effort has been put into mapping PC faithfully onto the cortex, but there are issues that remain unresolved or controversial. In particular, current implementations often involve separate value and error neurons and require symmetric forward and backward weights across different brain regions. These features have not been experimentally confirmed. In this work, we show that the PC framework in the linear regime can be modified to map faithfully onto the cortical hierarchy in a manner compatible with empirical observations. By employing a disentangling-inspired constraint on hidden-layer neural activities, we derive an upper bound for the PC objective. Optimization of this upper bound leads to an algorithm that shows the same performance as the original objective and maps onto a biologically plausible network. The units of this network can be interpreted as multi-compartmental neurons with non-Hebbian learning rules, with a remarkable resemblance to recent experimental findings. There exist prior models which also capture these features, but they are phenomenological, while our work is a normative derivation. The network we derive does not involve one-to-one connectivity or signal multiplexing, which the phenomenological models required, indicating that these features are not necessary for learning in the cortex. The normative nature of our algorithm in the simplified linear case allows us to prove interesting properties of the framework and analytically understand the computational role of our network's components. The parameters of our network have natural interpretations as physiological quantities in a multi-compartmental model of pyramidal neurons, providing a concrete link between PC and experimental measurements carried out in the cortex.

研究の動機と目的

• 予測符号化（PC）と皮質神経生理学との間に生じる矛盾、特に対称的重み、別個の誤差/値ニューロン、1対1の接続性に関するものに対処すること。
• 最近の多コンパートメントパラミダルニューロンの計算に関する実験的発見を説明できる、現象的ではなく規範的（normative）なモデルを構築すること。
• 既知の皮質回路に整合する、第一原理から導かれた生物学的に妥当な学習アルゴリズムを、標準PCと同等の性能で得ること。
• 信号多重化や対称的フィードバック重みが、階層的皮質回路における効果的な学習に必要でないことを示すこと。

提案手法

• 予測符号化フレームワークにおける隠れ層表現の共分散に、非相関に基づく不等式制約を導入する。
• この制約の下で予測符号化目的関数の解析的上界を導出し、最適化問題を扱いやすい形に変換する。
• 確率的勾配降下法を用いて上界を最適化し、別個の前向き・後向き重みを用いる学習アルゴリズムを導出する。
• 得られたアルゴリズムを、アピカルおよびbasalコンパートメントの電気的特性がネットワークパラメータに対応する多コンパートメントニューロンモデルにマッピングする。
• 導出されたアルゴリズムが、対称的重みや値ユニットと誤差ユニット間の1対1接続性を必要としないことを示す。
• ネットワークパラメータを生理学的量（膜電導、漏れレートなど）として解釈し、アルゴリズムと実験的測定値を直接結びつける。

実験結果

リサーチクエスチョン

• RQ1 皮質回路における対称的前向き・後向き重みの必要性を排除できるように、予測符号化を再定式化できるか？
• RQ2 多コンパートメントパラミダルニューロンにおける非ヘブシアン可塑性を自然に生じさせる、規範的（normative）な予測符号化の導出が存在するか？
• RQ3 値ユニットと誤差ユニット間の1対1接続性の要件を、性能を損なわず緩和できるか？
• RQ4 階層的皮質ネットワークにおける効果的な学習に、信号多重化は必要か？
• RQ5 制約に基づく予測符号化の再定式化により、カルシウムプラトー電位やアピカル-ベースコンパートメント相互作用に関する実験的発見と整合する生物学的に妥当な学習則が得られるか？

主な発見

• 提案されたBioCCPCアルゴリズムは、非対称的重みと1対1接続性なしに、線形領域において標準PCと同等の性能を達成する。
• アルゴリズムは多コンパートメントパラミダルニューロンモデルに自然にマッピングされ、アピカルおよびベースコンパートメントの電導がネットワークパラメータに対応する。
• 導出された学習則は非ヘブシアンであり、カルシウムプラトー電位がベースコンパートメントシナプスの可塑性を駆動するという実験的観察と整合する。
• 共分散制約は強力な正則化として機能し、トレーニング損失とバリデーション損失の曲線から顕著な過学習が生じないことが示された。
• モデルは信号多重化や対称的フィードバック重みを必要とせず、これらが皮質学習に不可欠ではないことを示している。
• ネットワークのパラメータは直接的な生理学的解釈が可能であり、予測符号化と実験的神経生理学との間の明確なつながりを確立できる。