[논문 리뷰] Balanced Information Storage and Transfer in Modular Spiking Neural Networks

Pedro A. M. Mediano, Murray Shanahan|arXiv (Cornell University)|2017. 08. 15.

Neural dynamics and brain function참고 문헌 34인용 수 4

한 줄 요약

이 연구는 가변적인 장거리 연결성을 가진 모듈형 스파iking 신경망을 통해 정보 저장과 전달의 균형을 탐구한다. 재결합 확률 $p$ 를 변화시킴으로써 중간 $p$ 에서 임계 상태가 나타나며, 이는 산맥 동역학이 등급 법 통계를 따르고, 정보 저장과 전달이 최대한 균형을 이루는 것으로 나타난다 — 이는 실재 뇌 데이터와 유사하다.

ABSTRACT

While information processing in complex systems can be described in abstract, general terms, there are cases in which the relation between these computations and the physical substrate of the underlying system is itself of interest. Prominently, the brain is one such case. With the aim of relating information and dynamics in biological neural systems, we study a model network of spiking neurons with different coupling configurations, and explore the relation between its informational, dynamical, and topological properties. We find that information transfer and storage peak at two separate points for different values of the coupling parameter, and are balanced at an intermediate point. In this configuration, avalanches in the network follow a long-tailed, power law-like distribution. Furthermore, the avalanche statistics at this point reproduce empirical findings in the biological brain.

연구 동기 및 목표

• 순수하게 추상적인 정보 이론 모델을 넘어서, 신경망의 물리적 기초가 어떻게 잠재적 계산을 유도하는지 이해하기 위해.
• 스파킹 신경망에서 네트워크 구조, 동역적 상태, 정보 처리 간의 상호작용을 조사하기 위해.
• 정보 저장과 전달이 최적으로 균형을 이루는 구성 조건을 특정하고, 이를 임계 동역학과 연결하기 위해.
• 이론적 네트워크 행동과 생물 뇌의 실증적 발견 간의 연결 고리를 맺기 위해, 특히 등급 법 산맥 통계와 관련하여.
• 선형성의 정도가 연결성 구조에 따라 어떻게 변화하는지, 정보 이론적 측정치를 통해 분석하기 위해.

제안 방법

• 800개의 활성화성, 200개의 억제성 뉴런을 포함한 총 1000개 뉴런의 모듈형 네트워크를 구성하며, 8개의 활성화성 모듈 내에서 10%의 간선 밀도를 확보한다.
• 장거리 연결은 재결합 확률 $p$ 를 통해 도입되며, 이는 국소(모듈 내) 연결과 전역(모듈 간) 연결 간의 균형을 제어한다.
• 뉴런의 동역학은 이즈키에비치 스파킹 뉴런 모델을 사용하여 기초적으로 생물학적으로 타당한 파rameter를 설정한다.
• 정보 저장 및 전달 능력은 KSG 비모수적 추정기(추정법)를 사용해 상관정보량을 측정하고, 선형-가우시안 추정기와 비교함으로써 비선형성의 정도를 평가한다.
• 시간 시리즈 데이터는 일차 및 이차 차분을 적용하여 스펙트럼 성분을 탐색하고 저주파 성분을 억제함으로써 고주파 동역학에 대한 민감도를 향상시킨다.
• 산맥 통계는 스파이크의 연쇄 반응을 탐지하고, 그 크기 분포가 등급 법 스케일링을 따르는지 실증적 피팅을 통해 검증한다.

실험 결과

연구 질문

• RQ1 모듈형 스파킹 네트워크에서 국소적 연결성과 전역적 연결성 간의 균형이 정보 저장 및 전달에 어떤 영향을 미치는가?
• RQ2 정보 저장 및 전달이 최대한 균형을 이루는 재결합 파rameter $p$ 의 값은 얼마인가?
• RQ3 정보 처리의 균형점 근처에서 네트워크는 임계 동역학 — 특히 등급 법 분포를 따르는 산맥 — 을 나타내는가?
• RQ4 신경 상호작용의 성격(선형 대 비선형)은 연결성 구조에 따라 어떻게 변화하며, 이는 정보 이론적 측정치에 어떻게 반영되는가?
• RQ5 모델에서의 산맥 통계는 생물 뇌의 실증 데이터와 어느 정도 일치하는가?

주요 결과

• 정보 저장 및 전달 능력은 재결합 파rameter $p$ 의 특정 값에서 최대에 도달하며, 최대 균형은 중간 $p$ 값에서 발생한다.
• 균형점에서 산맥 크기 분포는 긴 尾部를 가진 등급 법 유사 분포를 따르며, 임계 지수는 생물 뇌의 실증 결과와 일치한다 (예: Beggs & Plenz, 2003).
• 경쟁적(승자독점) 동역학에서 협력적(전역적) 동역학으로의 전이가 $p \in (0.2, 0.4)$ 범위에서 발생하며, 이는 정보 다양성과 임계 통계의 피크와 겹친다.
• 낮은 $p$ 에서는 비선형 상호작용이 지배적이며, 높은 $p$ 에서는 선형 상호작용이 더 두드러지게 나타나며, 이는 비모수적 추정기와 선형-가우시안 추정기 간의 격차가 커짐으로써 확인된다.
• 시간 차분은 저주파 성분을 억제하며, 선형과 비모수적 MI 추정치 간의 차이를 증폭시켜 D1 및 D2에서 특히 두드러지게 나타나, 선형 상호작용이 주로 저주파 성분에 의해 전달된다는 것을 확인한다.
• 모델의 임계 상태 — 균형 잡힌 정보 처리와 등급 법 산맥을 특징으로 하며 — 네트워크의 구조, 동역학, 정보 이론 간의 상호작용에서 자연스럽게 유도되며, 신경 계산의 하이브리드 관점을 지지한다.