[논문 리뷰] Noise dynamically suppresses chaos in neural networks

Sven Goedeke, Jannis Schuecker외 1명|arXiv (Cornell University)|2016. 03. 06.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 전통적인 안정성 분석으로 예측된 것보다 훨씬 높은 결합 강도에서 혼돈으로의 전이가 발생하도록, 추가적인 백색 잡음이 무작위로 연결된 신경망에서 혼돈을 동적으로 억제함을 보여준다. 동적 평균장 이론을 사용하여 저자들은 전이 지점에 대한 폐쇄형 표현식을 유도하고, 잡음에 의해 유도된 안정성으로 인해 전이 지점에서 발산하지 않는 바이어스된 자가상관 함수의 감쇠 시간이 임계 결합 강도보다 약간 높은 곳에서 최대가 됨을 보여준다.

ABSTRACT

Noise is ubiquitous in neural systems due to intrinsic stochasticity or external drive. For deterministic dynamics, neural networks of randomly coupled units display a transition to chaos at a critical coupling strength. Here, we investigate the effect of additive white noise on the transition. We develop the dynamical mean-field theory yielding the statistics of the activity and the maximum Lyapunov exponent. A closed form expression determines the transition from the regular to the chaotic regime. Noise suppresses chaos by a dynamic mechanism, shifting the transition to significantly larger coupling strengths than predicted by local stability analysis. The decay time of the autocorrelation function does not diverge at the transition, but peaks slightly above the critical coupling strength.

연구 동기 및 목표

• 추가적인 백색 잡음이 무작위로 연결된 신경망에서 혼돈으로의 전이에 미치는 영향을 이해하는 것.
• 잡음 하에서 신경 활동의 통계적 행동을 기록하는 이론적 프레임워크를 개발하는 것.
• 잡음이 혼돈이 나타나는 임계 결합 강도를 변화시키는지 여부를 확인하는 것.
• 잡음 조건 하에서 전이 지점 근처의 자가상관 함수 감쇠 동역학을 분석하는 것.

제안 방법

• 저자들은 대규모 무작위로 연결된 네트워크에서의 신경 활동 통계를 모델링하기 위해 동적 평균장 이론을 사용한다.
• 정규 영역와 혼돈 영역 사이의 전이를 식별하기 위해 최대 리아프노프 지수의 폐쇄형 표현식을 유도한다.
• 안정성 효과를 연구하기 위해 결정론적 신경 동역학에 추가적인 백색 잡음을 외부 편향으로 도입한다.
• 이론은 잡음에 의해 유도된 이동을 고려하여 혼돈이 나타나는 임계 결합 강도를 예측한다.
• 전이 근처의 시간적 상관관계를 분석하기 위해 자가상관 함수의 감쇠 시간을 계산한다.

실험 결과

연구 질문

• RQ1 추가적인 백색 잡음은 무작위로 연결된 신경망에서 혼돈이 나타나는 임계 결합 강도에 어떻게 영향을 미치는가?
• RQ2 잡음은 단순히 변동성을 평균화하는 것 외에, 동적 메커니즘을 통해 혼돈을 억제하는가?
• RQ3 잡음 조건 하에서 자가상관 함수의 감쇠 시간은 전이 지점에서 어떻게 행동하는가?
• RQ4 폐쇄형 표현식은 잡음 존재 하에서 정규 동역학에서 혼돈 동역학으로의 전이를 예측할 수 있는가?

주요 결과

• 전통적인 국소 안정성 분석으로 예측된 것보다 훨씬 높은 결합 강도에서 혼돈으로의 전이가 발생하도록, 잡음은 혼돈을 동적으로 억제한다.
• 혼돈의 시작을 결정하는 데 사용된 최대 리아프노프 지수는 해석적으로 유도되었으며, 명확한 전이 지점을 보여준다.
• 자기상관 함수의 감쇠 시간은 임계 결합 강도에서 발산하지 않고, 그 약간 위에서 최대가 되며, 이는 시간적 상관관계에서 임계점이 아닌 피크가 있음을 나타낸다.
• 동적 평균장 이론은 잡음 하에서의 통계적 활동과 안정성 특성을 성공적으로 기록하며, 전이에 대한 폐쇄형 기준을 제공한다.