[논문 리뷰] Functional methods for disordered neural networks

Jannis Schuecker, Sven Goedeke외 2명|arXiv (Cornell University)|2016. 05. 22.

Advanced Thermodynamics and Statistical Mechanics인용 수 12

한 줄 요약

이 튜토리얼은 통계장 이론의 기능적 방법을 사용하여 고정된 시냅스 무작위성을 가진 불순물 신경망을 분석한다. 마틴-시그리아-로즈-데 도메니키스(MSRDJ) 경로 적분 형식을 통해 동적 평균장 이론을 유도하며, 0의 시간 지연에서 자기상관 함수의 곡률가 사라질 때의 전이 조건을 설정하여, 이는 효과적인 슈뢰딩거 방정식의 기본 상태와 연결된다.

ABSTRACT

Neural networks of the brain form one of the most complex systems we know. Many qualitative features of the emerging collective phenomena, such as correlated activity, stability, response to inputs, chaotic and regular behavior, can, however, be understood in simple models that are accessible to a treatment in statistical mechanics, or, more precisely, classical statistical field theory. This tutorial presents the fundamentals behind contemporary developments in the theory of neural networks of rate units that are based on methods from statistical mechanics of classical systems with a large number of interacting degrees of freedom. In particular we will focus on a relevant class of systems that have quenched (time independent) disorder. In neural networks, the main source of disorder arises from random synaptic couplings between neurons. These systems are in many respects similar to spin glasses. The tutorial therefore also explains the methods for these disordered systems as far as they are applied in neuroscience. The presentation consists of two parts. In the first part we introduce stochastic differential equations in the Martin - Siggia - Rose - De Dominicis - Janssen path integral formalism. In the second part we employ this language to derive the dynamic mean-field theory for deterministic random networks, the basis of the seminal work by Sompolinsky, Crisanti, Sommers 1988, as well as a recent extension to stochastic dynamics.

연구 동기 및 목표

• 무작위 시냅스 결합으로 인한 고정된 불순물이 있는 불순물 신경망에 대한 기능적 방법에 대한 종합적이고 접근 가능한 튜토리얼을 제공하는 것.
• 기존 문헌에서 부족한 전반적인 교육적 설명이 부족한 바람에, 랜덤 신경망의 동적 평균장 이론에 대한 상세한 유도를 제공함으로써 이를 메워내는 것.
• 형식을 확장하여 확률적 신경 단위를 포함시켜, 동역학과 변동성에 대한 노이즈 효과를 반영하는 것.
• 신경과학적 맥락에서 확률적 미분 방정식에 대한 MSRDJ 경로 적분 형식의 물리적 및 수학적 기초를 명확히 하는 것.
• 최대 리아프노프 지수에 대한 슈뢰딩거 방정식을 사용하여 랜덤 신경망에서 혼돈의 시작 조건을 도출하고 해석하는 것.

제안 방법

• 이토 및 스트라토노비치 관례를 사용하여 확률적 미분 방정식을 형식화하고, MSRDJ 형식을 통해 경로 적분 표현을 도출한다.
• 데 도메니키스의 접근법을 적용하여 고정된 불순물에 대한 평균을 내는 생성 함수를 구성한다.
• 불순물에 대한 평균을 내고 자가 일관된 자기상관 함수를 구함으로써 결정론적 랜덤 네트워크의 동적 평균장 이론을 유도한다.
• 효과적 잠재력으로 변동성의 동역학을 모델링하고 안정성 분석을 최대 리아프노프 지수에 대한 슈뢰딩거 방정식으로 매핑한다.
• 프라이스의 정리를 사용하여 가우시안 적분의 도함수를 기저 확률 변수의 모멘트와 연결함으로써 반응 함수의 분석적 처리를 가능하게 한다.
• 두 번째 도함수 ∂²c(τ)/∂τ²|τ=0 분석을 통해 혼돈 전이 조건을 도입하며, 이 조건은 임계점에서 0이 된다.

실험 결과

연구 질문

• RQ1 고정된 시냅스 무작위성을 가진 불순물 신경망의 동역학은 통계장 이론을 통해 어떻게 체계적으로 분석할 수 있는가?
• RQ2 신경망에서의 확률적 미분 방정식에 대한 기능적 경로 적분 형식은 무엇이며, 이토 및 스트라토노비치 관례는 이 맥락에서 어떻게 다를까?
• RQ3 MSRDJ 형식은 고정된 불순물이 있는 랜덤 신경망에 대해 동적 평균장 이론을 어떻게 도출할 수 있는가?
• RQ4 랜덤 신경망에서 혼돈으로의 전이의 물리적 및 수학적 기초는 무엇이며, 어떻게 분석적으로 예측할 수 있는가?
• RQ5 신경 단위에 노이즈를 포함시키면 자기상관 함수와 혼돈 동역학의 시작에 어떤 영향을 미치는가?

주요 결과

• 랜덤 신경망에서 혼돈으로의 전이 조건은 자기상관 함수의 두 번째 도함수가 시간 지연 τ=0에서 0이 되는 순간, 즉 ∂²c(τ)/∂τ²|τ=0 = 0일 때 발생한다.
• 이 임계 조건은 자기상관 함수의 곡률가 부호를 바꾸는 지점이며, 외부 노이즈에 의한 분리와 내재된 혼돈 동역학 사이의 균형을 나타낸다.
• 최대 리아프노프 지수는 네트워크의 자가 일관된 동역학에서 유도된 잠재력이 있는 슈뢰딩거 방정식을 풀어 구한다.
• 이 형식은 소모린스키 등(1988)의 동적 평균장 이론을 정확히 재현하며, 고데케 등(2016)의 확률적 단위로의 확장을 가능하게 한다.
• 프라이스의 정리를 엄밀히 적용하여, 가우시안 적분의 매개변수에 대한 도함수가 integrand의 도함수의 모멘트를 나타냄을 보였다.
• 경로 적분 형식은 피카르-페인만 다이어그램과 고리 전개를 사용한 체계적 섭동 처리를 가능하게 하여, 복잡한 신경 동역학의 통계적 분석을 가능하게 한다.