[논문 리뷰] Noise dynamically suppresses chaos in random neural networks

Sven Goedeke, Jannis Schuecker외 1명|arXiv (Cornell University)|2016. 03. 06.

Neural Networks and Applications인용 수 3

한 줄 요약

이 논문은 추가적인 백색 잡음이 무작위로 연결된 신경망에서 혼돈의 발생을 동적으로 억제함으로써, 전통적인 안정성 분석이 예측한 것보다 훨씬 높은 결합 강도에서 혼돈의 발생 시점을 이동시킨다. 동적 평균장 이론을 사용하여 저자들은 혼돈으로의 전이에 대한 정확한 조건을 유도하고, 잡음이 확장성 있는 동역학과 안정적인 장기적 행동의 공존을 가능하게 하며, 시간적 상관관계가 임계 결합 강도 약간 위에서 최대가 되는 것을 보여준다.

ABSTRACT

Noise is ubiquitous in neural systems due to intrinsic stochasticity or external drive. For deterministic dynamics, randomly coupled neural networks display a transition to chaos at a critical coupling strength. Here, we investigate the effect of additive white noise on the onset of chaos. We develop the dynamical mean-field theory yielding the statistics of the activity and the maximum Lyapunov exponent. An exact condition determines the transition from stable to chaotic dynamics. Noise suppresses chaos by a dynamic mechanism, shifting the transition to significantly larger coupling strengths than predicted by local stability analysis. A regime emerges, where expansive dynamics and stable long-term behavior coexist. Furthermore, the time scale of the temporal correlations does not diverge at the transition, but peaks slightly above the critical coupling strength.

연구 동기 및 목표

• 추가적 백색 잡음이 무작위로 연결된 신경망에서 혼돈의 발생에 어떤 영향을 미치는지 이해하는 것.
• 신경 활동의 통계와 잡음 하에서의 최대 리아푸노프 지수를 기반으로 한 동적 평균장 이론을 개발하는 것.
• 잡음이 존재할 경우 안정적인 동역학에서 혼돈으로의 전이에 대한 정확한 조건을 결정하는 것.
• 지역 안정성 분석이 불안정성을 예측하는 시스템이라도 잡음이 안정화할 수 있는지 조사하는 것.
• 잡음 조건 하에서 전이점 근처의 시간적 상관관계 시간 스케일의 행동을 검토하는 것.

제안 방법

• 저자들은 추가적 백색 잡음 하에서 큰 무작위 네트워크의 신경 활동 통계적 특성을 분석적으로 기술하기 위해 동적 평균장 이론을 사용한다.
• 결합 강도와 잡음 강도에 따라 최대 리아푸노프 지수를 유도하여 안정성과 혼돈을 평가한다.
• 이론을 사용하여 안정적인 동역학에서 혼돈으로의 전이에 대한 정확한 해석적 조건을 도출하며, 국소 선형 안정성 분석을 초월한다.
• 이 방법은 신경 동역학의 비선형성과 잡음의 확률적 성격을 고려하여 시스템 행동의 글로벌 특성화를 가능하게 한다.
• 이론은 시간적 상관관계 시간 스케일의 피크를 예측하며, 이는 전이점에서 발산하는 것이 아니라 임계 결합 강도 약간 위에서 발생한다.

실험 결과

연구 질문

• RQ1 추가적 백색 잡음은 무작위 신경망에서 혼돈이 발생하는 임계 결합 강도에 어떤 영향을 미치는가?
• RQ2 잡음은 확장성 있는 동역학과 안정적인 장기적 행동이 공존하는 상태를 유도할 수 있는가?
• RQ3 혼돈으로의 전이에서 시간적 상관관계 시간 스케일은 발산하는가, 아니면 임계점 근처에서 피크를 이룬다?
• RQ4 동적 평균장 이론은 유한하지만 대규모 신경망에서 잡음, 결합 강도, 혼돈 간의 상호작용을 어떻게 기술하는가?
• RQ5 잡음이 존재할 경우 혼돈으로의 전이에 대한 정확한 조건은 무엇이며, 국소 안정성 분석에 기반한 예측과 어떻게 다를까?

주요 결과

• 잡음은 국소 안정성 분석이 예측한 것보다 훨씬 높은 결합 강도에서 혼돈의 발생을 이동시킴으로써 동적으로 혼돈을 억제한다.
• 확장성 있는 동역학과 장기적 안정성이 공존하는 안정된 영역이 잡음의 존재로 인해 나타난다.
• 결합 강도가 결정론적 임계점 이후에도 최대 리아푸노프 지수는 음수를 유지하여, 잡음 하에서 지속적인 안정성이 유지됨을 나타낸다.
• 시간적 상관관계 시간 스케일은 전이점에서 발산하지 않고, 오히려 임계 결합 강도 약간 위에서 피크를 이룬다.
• 혼돈으로의 전이에 대한 정확한 조건이 해석적으로 도출되었으며, 이는 잡음 강도와 네트워크 결합 강도에 모두 의존한다.
• 동적 평균장 이론은 잡음, 비선형성, 네트워크 구조 간의 복잡한 상호작용을 효과적으로 기술하여 혼돈 행동 억제를 설명한다.