[논문 리뷰] Predictive coding in balanced neural networks with noise, chaos and delays

Jonathan Kadmon, Jonathan Timcheck외 1명|arXiv (Cornell University)|2020. 06. 25.

Neural dynamics and brain function인용 수 25

한 줄 요약

이 논문은 스파iking 신경망에서 균형 잡힌 예측 코딩의 이론적으로 분석 가능한 모델을 제안하며, 학습 불균형과의 분리로 예측 정확도를 분석적으로 유도한다. 이는 엄격한 균형이 소 rum, 혼돈, 지연에 강건한 초고전적 오차 스케일링 $1/N$ 을 가능하게 하며, 생물학적 네트워크에서 고정밀도 예측 코딩의 핵심 요소로 균형이 작용함을 드러낸다.

ABSTRACT

Biological neural networks face a formidable task: performing reliable computations in the face of intrinsic stochasticity in individual neurons, imprecisely specified synaptic connectivity, and nonnegligible delays in synaptic transmission. A common approach to combatting such biological heterogeneity involves averaging over large redundant networks of $N$ neurons resulting in coding errors that decrease classically as $1/\\sqrt{N}$. Recent work demonstrated a novel mechanism whereby recurrent spiking networks could efficiently encode dynamic stimuli, achieving a superclassical scaling in which coding errors decrease as $1/N$. This specific mechanism involved two key ideas: predictive coding, and a tight balance, or cancellation between strong feedforward inputs and strong recurrent feedback. However, the theoretical principles governing the efficacy of balanced predictive coding and its robustness to noise, synaptic weight heterogeneity and communication delays remain poorly understood. To discover such principles, we introduce an analytically tractable model of balanced predictive coding, in which the degree of balance and the degree of weight disorder can be dissociated unlike in previous balanced network models, and we develop a mean field theory of coding accuracy. Overall, our work provides and solves a general theoretical framework for dissecting the differential contributions neural noise, synaptic disorder, chaos, synaptic delays, and balance to the fidelity of predictive neural codes, reveals the fundamental role that balance plays in achieving superclassical scaling, and unifies previously disparate models in theoretical neuroscience.

연구 동기 및 목표

• 생물학적 제약 조건인 소 rum, 학습 불균형, 전송 지연 등 하에서 균형 잡힌 신경망의 예측 코딩이 어떻게 고정밀도를 유지하는지 이해하기 위해.
• 반복적 스파이킹 네트워크에서 예측 정확도를 결정하는 균형, 학습 불균형, 혼돈, 지연의 역할을 분리하여 분석하기 위해.
• 이러한 요소들이 예측 코딩 성능에 미치는 영향을 정량화하는 평균장 이론을 개발하기 위해.
• 다양한 신경계 계산 모델을 통합하여 균형이 초고전적 오차 스케일링을 달성하는 데 핵심적인 역할을 하는 본질적 기능을 드러내기 위해.

제안 방법

• 균형과 학습 불균형이 분리 가능한 분석 가능한 모델을 개발하여 정밀한 이론적 분석을 가능하게 한다.
• 동적 평균장 이론을 적용하여 예측 오차의 분산과 신경 활동의 변동성을 계산한다.
• 색깔 잡힌 소 rum을 가진 랑주반 유사 방정식을 사용하여 예측 오차의 역학을 모델링하며, 엄격한 균형을 위해 피드백 이득 $b \propto N$ 을 사용한다.
• 읽기 출력의 정상 상태 분산을 유도한다: $\langle\delta\hat{x}^2\rangle \approx \frac{\langle\phi'\rangle^2 g^2}{2\tilde{b}^2 N}$, 이는 $1/N$ 스케일링을 확인한다.
• 지연 피드백을 분석하기 위해 특성 방정식 $G(z) = z\tau + 1 + \tilde{b}e^{-zD} = 0$ 를 사용하여 안정성 및 공진 조건을 규명한다.
• 위너–킨친 정리 적용을 통해 총 변동 분산을 계산하며, 임계 균형 $\tilde{b}_c$ 근처의 공진 효과를 통합한다.

실험 결과

연구 질문

• RQ1 예측 코딩에서 초고전적 $1/N$ 오차 스케일링을 달성하기 위해 필요한 최소한의 균형 수준은 무엇인가?
• RQ2 소 rum, 학습 불균형, 전송 지연은 균형 잡힌 네트워크에서 예측 코딩의 정밀도에 어떻게 영향을 미치는가?
• RQ3 신경 회로에서 전통적 균형(혼란스러운 변동성)과 엄격한 균형(예측 코딩) 간의 상호작용은 어떠한가?
• RQ4 피드백이 지연될 경우 네트워크는 안정성과 정확성을 어떻게 유지하는가?
• RQ5 다양한 생물학적 변동성 원천 하에서 예측 코딩의 강건성을 설명할 수 있는 통합 이론적 프레임워크는 존재하는가?

주요 결과

• 엄격한 피드백 균형 덕분에 $1/N$ 스케일링을 실현하는 초고전적 오차 스케일링을 달성한다. 이는 전통적 $1/\sqrt{N}$ 보다 훨씬 우수하다.
• 예측 오차의 정상 상태 분산은 $\langle\delta\hat{x}^2\rangle \approx \frac{\langle\phi'\rangle^2 g^2}{2\tilde{b}^2 N}$ 로 유도되며, 이는 $1/N$ 스케일링을 확인한다.
• 임계 균형 $\tilde{b}_c$ 근처에서 변동성의 공진 증폭이 발생하며, 파wer 스펙트럼 밀도는 $\hat{\Delta}(\omega_c) \approx \frac{\sigma^2}{2N(\tilde{b}_c - \tilde{b})^2}$ 로 표현된다.
• 작은 지연 $d \ll \tau$ 에서는 공진 효과가 무시 가능하다. 왜냐하면 $\hat{q}(\omega_c) \ll 1$ 이므로 불안정성이 억제되기 때문이다.
• 이론은 예측 코딩과 균형 잡힌 네트워크 역학을 통합하며, 생물학적 제약 조건 하에서 고정밀도 코딩을 위해 균형이 필수적임을 보여준다.
• 모델은 $\tilde{b} < \tilde{b}_c$ 라면 학습 불균형으로 인한 혼돈이 예측 코딩을 방해하지 않음을 드러낸다.