[논문 리뷰] Mean Field Analysis of Stochastic Neural Network Models with Synaptic Depression

Yasuhiko Igarashi, Masafumi Oizumi외 1명|arXiv (Cornell University)|2010. 03. 05.

Neural dynamics and brain function인용 수 3

한 줄 요약

이 논문은 시냅스 감퇴를 갖는 확률적 이진 신경망에 대한 평균장 이론을 수립하여, 시냅스 감퇴가 허프 및 터닝 메커니즘을 통해 진동 불안정성을 유도함을 보여준다. 원형 네트워크에서 메히코-햇 형태의 연결성을 가진 네트워크에서는 연결 강도에 따라 세 가지의 별개의 진동 상태—균일 진동, 돌고 있는 복합체, 그리고 이전에 보고되지 않은 진동 복합체—를 식별한다.

ABSTRACT

We investigated the effects of synaptic depression on the macroscopic behavior of stochastic neural networks. Dynamical mean field equations were derived for such networks by taking the average of two stochastic variables: a firing state varialbe and a synaptic variable. In these equations, their average product is decoupled as the product of averaged them because the two stochastic variables are independent. We proved the independence of these two stochastic variables assuming that the synaptic weight is of the order of 1/N with respect to the number of neurons N. Using these equations, we derived macroscopic steady state equations for a network with uniform connections and a ring attractor network with Mexican hat type connectivity and investigated the stability of the steady state solutions. An oscillatory uniform state was observed in the network with uniform connections due to a Hopf instability. With the ring network, high-frequency perturbations were shown not to affect system stability. Two mechanisms destabilize the inhomogeneous steady state, leading two oscillatory states. A Turing instability leads to a rotating bump state, while a Hopf instability leads to an oscillatory bump state, which was previous unreported. Various oscillatory states take place in a network with synaptic depression depending on the strength of the interneuron connections.

연구 동기 및 목표

• 확률적 신경망 동역학에서 시냅스 감퇴의 거시적 영향을 이해하기 위해.
• 확률적 스파iking과 동적 시냅스를 갖는 네트워크에 대한 폐쇄형 평균장 이론을 유도하기 위해.
• 균일 및 멕시코-햇 형태의 연결성을 갖는 네트워크에서 안정 상태 해의 안정성을 분석하기 위해.
• 시냅스 감퇴에 의해 유도되는 진동 상태의 메커니즘—허프 및 터링 불안정성—을 규명하기 위해.
• 링 어트랙터 네트워크에서 이전에 보고되지 않은 동적 상태, 예를 들어 진동 복합체를 드러내기 위해.

제안 방법

• 스피크 실현의 평균을 취함으로써 미세구조적 동역학 평균장 방정식을 유도하며, 발화와 시냅스 변수 간의 독립성을 가정한다.
• J_{ij} \sim O(1/N) 인 가정 하에 발화와 시냅스 변수의 통계적 독립성을 증명함으로써 평균 곱의 분리가 가능해짐을 보였다.
• 균일 연결 네트워크와 멕시코-햇 형태의 연결성을 갖는 링 어트랙터 네트워크 두 가지 유형의 네트워크에 평균장 프레임워크를 적용하였다.
• 푸리에 모드 변동을 사용하여 안정 상태 해에 대한 선형 안정성 분석을 수행하여 허프 및 터링 불안정성을 식별하였다.
• 측면 억제가 약할 경우 고주파 변동이 안정성에 영향을 주지 않음을 보여주어 안정성 분석의 차원을 감소시킬 수 있음을 밝혔다.
• 수치적 및 분석적 방법을 사용하여 단계도를 유도하고 링 네트워크의 동적 영역을 특성화하였다.

실험 결과

연구 질문

• RQ1 시냅스 감퇴는 확률적 신경망의 안정 상태에 어떤 영향을 미치는가?
• RQ2 시냅스 감퇴가 있는 네트워크에서 진동 상태를 유도하는 메커니즘—허프 또는 터링 불안정성—은 무엇인가?
• RQ3 메히코-햇 형태의 연결성을 갖는 링 네트워크에서 균일 진동 또는 돌고 있는 복합체 이외의 새로운 진동 상태가 나타날 수 있는가?
• RQ4 측면 억제가 약할 경우 고주파 변동은 이러한 네트워크의 시스템 안정성에 영향을 미치는가?
• RQ5 중간 뉴런 간 연결 강도는 다양한 진동 상태의 발생을 어떻게 결정하는가?

주요 결과

• 메히코-햇 형태의 연결성을 갖는 링 네트워크에서 시냅스 감퇴는 이전에 보고되지 않은 진동 복합체(OB) 상태를 유도한다.
• 균일 네트워크에서는 시냅스 감퇴가 허프 불안정성을 유도하여 안정한 진동 균일(OU) 상태로 이어진다.
• 측면 억제 연결이 강력할 경우, 터링 불안정성에 의해 돌고 있는 복합체(RB) 상태가 나타난다.
• 측면 억제가 약할 경우 고주파 변동은 시스템 안정성에 영향을 주지 않으며, 이는 안정성 분석의 차원 감소를 가능하게 한다.
• 시스템은 다중안정 영역을 보이며, 연결 강도 파rameter에 따라 서로 다른 동적 상태(OU, RB, OB)가 발생한다.
• 확률적 이진 네트워크에 대한 시냅스 감퇴 평균장 방정식은 아날로그 네트워크의 것과 일치하여 이 접근법의 타당성을 검증한다.