[논문 리뷰] Biologically plausible solutions for spiking networks with efficient coding

Veronika Koren, Stefano Panzeri|arXiv (Cornell University)|2022. 10. 13.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 수학적으로 유도된 최적화 기반 프레임워크를 통해 효율적 코딩을 달성하는 생물학적으로 타당한 스파iking 신경망 모델을 제안한다. 스파이크를 최소화하는 이차 손실 함수를 통해, 구조적이고 저질서 랭크 연결, 이질적인 전류, 그리고 독립적인 흥분성-억제성 동역학을 가진 일반화된 누설 적분-화염(LIF) 네트워크를 생성하며, 생물학적 제약 조건인 Dale의 원칙과 스파이크 시점 정밀도를 준수하면서도 고정밀 신호 재구성 가능하다.

ABSTRACT

Understanding how the dynamics of neural networks is shaped by the computations they perform is a fundamental question in neuroscience. Recently, the framework of efficient coding proposed a theory of how spiking neural networks can compute low-dimensional stimulus signals with high efficiency. Efficient spiking networks are based on time-dependent minimization of a loss function related to information coding with spikes. To inform the understanding of the function and dynamics of biological networks in the brain, however, the mathematical models have to be informed by biology and obey the same constraints as biological networks. Currently, spiking network models of efficient coding have been extended to include some features of biological plausibility, such as architectures with excitatory and inhibitory neurons. However, biological realism of efficient coding theories is still limited to simple cases and does not include single neuron and network properties that are known to be key in biological circuits. Here, we revisit the theory of efficient coding with spikes to develop spiking neural networks that are closer to biological circuits. Namely, we find a biologically plausible spiking model realizing efficient coding in the case of a generalized leaky integrate-and-fire network with excitatory and inhibitory units, equipped with fast and slow synaptic currents, local homeostatic currents such as spike-triggered adaptation, hyperpolarization-activated rebound current, heterogeneous firing thresholds and resets, heterogeneous postsynaptic potentials, and structured, low-rank connectivity. We show how the complexity of E-E connectivity matrix shapes network responses.

연구 동기 및 목표

• 실제 신경망 제약 조건을 고려한 생물학적으로 현실적인 스파이킹 신경망 모델을 개발하는 것.
• 흥분성-억제성 연결, 이질적인 전류, 시냅스 동역학과 같은 핵심 생물학적 특성을 통합함으로써 기존의 추상적인 수학적 프레임워크를 넘어서 효율적 코딩 이론을 확장하는 것.
• 누설 전류, 적응 전류, 재발 전류 및 시냅스 전류를 포함한 막 전위 동역학에 대한 정확한 표현을 최적화 원리로부터 유도하는 것.
• 네트워크 파rameter와 계산 기능 사이의 기능적 연결을 수립하여, 정보 처리 관점에서 동역학을 해석할 수 있도록 하는 것.
• 복잡한 흥분성-흥분성(E-E) 연결이 피드포워드 유도가 아닌 반응과 생물학적 업/다운 상태를 유사한 자발적 활동 상태로 이끌 수 있음을 보여주는 것.

제안 방법

• 흥분성 및 억제성 뉴런 각각에 대해 별도의 손실 함수를 사용하여 흥분성-억제성 아키텍처와 功能적 다양성을 강제한다.
• 이차 오차 손실의 시간에 따라 변하는 최소화를 통해, 막 전위 동역학(누설, 적응, 재발, 시냅스 전류 포함)에 대한 정확한 해석적 표현을 유도한다.
• 생물학적 다양성을 반영하기 위해 이질적인 발화 임계값, 재설정, 후시냅스 전위를 가진 일반화된 LIF 모델을 사용한다.
• 빠른 시냅스는 경쟁을, 느린 시냅스는 협업을 가능하게 하여, 스파이크 당 정보 전송을 최대화하도록 구조적이고 저질서 랭크 연결을 최적화한다.
• 간단한 누설 통합을 넘어서 복잡한 네트워크 계산을 가능하게 하기 위해 입력과 출력 사이의 일반적인 선형 변환을 허용한다.
• 이론적 유도를 통해 네트워크 파rameter가 직접적으로 최소화된 손실 구성요소와 연결되며, 각 역동적 요소의 기능적 해석이 가능해진다.

실험 결과

연구 질문

• RQ1 Dale의 원칙과 이질적인 뉴런 특성 등의 생물학적 제약 조건을 고려한 스파이킹 신경망에서 효율적 코딩을 어떻게 구현할 수 있는가?
• RQ2 빠른 및 느린 시냅스 전류가 네트워크 반응을 어떻게 형상화하고 효율적 정보 전송을 어떻게 가능하게 하는가?
• RQ3 구조적이고 저질서 랭크 연결된 E-E 연결이 피드포워드 유도 활성화를 초과하여 네트워크 동역학에 어떤 영향을 미치는가?
• RQ4 최적화 프레임워크가 외부 자극 없이도 생물학적 업/다운 상태를 유사한 자발적 활동 상태로 생성할 수 있는가?
• RQ5 네트워크 파rameter는 손실 함수 최소화 및 효율적 계산을 위한 기능적 역할 측면에서 어떻게 기능적으로 해석할 수 있는가?

주요 결과

• 유도된 스파이킹 네트워크 모델은 생물학적으로 타당하며, 누설, 적응, 재발 전류와 같은 각 구성 요소가 손실 함수 최적화에서 정확히 유도된다.
• 각 뉴런이 흥분성 또는 억제성임을 보장하기 위해 별도의 손실 함수를 통해 흥분성-억제성 아키텍처를 강제함으로써 Dale의 원칙을 준수한다.
• 구조적이고 저질서 랭크 연결이 최적화 과정에서 자연스럽게 유도되며, 재현성 최소화와 함께 효율적 정보 전송이 가능하다.
• 복잡한 E-E 연결은 피드포워드 입력에 직접적으로 영향을 받지 않는 뉴런이 네트워크 반응에 참여할 수 있도록 하여 분산 계산을 가능하게 한다.
• 외부 자극이 없고 배경 잡음만 존재하는 조건에서 네트워크는 생물학적 관찰과 유사한 업/다운 상태를 자발적으로 생성한다.
• 모델은 네트워크 파rameter에 대한 기능적 해석을 제공하여, 적응, 시냅스 가중치 등의 각 역동적 구성 요소가 코딩 오차 최소화에 기여하는 역할을 연결한다.