[논문 리뷰] Dynamics and computation in mixed spiking networks containing neurons with negative dissipation.

Paul Manz, Sven Goedeke외 1명|arXiv (Cornell University)|2018. 12. 21.

Advanced Memory and Neural Computing인용 수 1

한 줄 요약

이 논문은 유도성(LIF) 및 반유도성(XIF) 뉴런을 모두 포함하는 혼합 스파iking 신경망을 조사하며, 단 한 개의 XIF 뉴런만으로도 XIF 뉴런 수당 약 한 개의 양의 리아프노프 지수를 생성함으로써 혼돈을 유도하는 것으로 나타났다. 평균장 이론과 공변 리아프노프 벡터를 사용하여, 이러한 네트워크가 균형 잡힌 비정규적인 스파이크 상태를 유지하고, 스파이크 기반 계산을 위한 조절 가능한 리저보아로 기능할 수 있음을 입증하였다. 다양한 역학적 제어 모드를 가진다.

ABSTRACT

Networks in the brain consist of different types of neurons. Here we investigate the influence of neuron diversity on the dynamics, phase space structure and computational capabilities of spiking neural networks. We find that already a single neuron of a different type can qualitatively change the network dynamics and that mixed networks may combine the computational capabilities of ones with a single neuron type. We study inhibitory networks of concave leaky (LIF) and convex anti-leaky (XIF) integrate-and-fire neurons that generalize irregularly spiking non-chaotic LIF neuron networks. Endowed with simple conductance-based synapses for XIF neurons, our networks can generate a balanced state of irregular asynchronous spiking as well. We determine the voltage probability distributions and self-consistent firing rates assuming Poisson input with finite size spike impacts. Further, we compute the full spectrum of Lyapunov exponents (LEs) and the covariant Lyapunov vectors (CLVs) specifying the corresponding perturbation directions. We find that there is approximately one positive LE for each XIF neuron. This indicates in particular that a single XIF neuron renders the network dynamics chaotic. A simple mean-field approach, which can be justified by properties of the CLVs, explains the finding. As an application, we propose a spike-based computing scheme where our networks serve as computational reservoirs and their different stability properties yield different computational capabilities.

연구 동기 및 목표

• 스파이킹 신경망에서 뉴런 다양성, 특히 반유도성(XIF) 뉴런의 포함이 네트워크 역학과 계산 기능에 미치는 영향를 이해하기 위해.
• 혼합 네트워크에서 혼돈 역학이 어떻게 나타나는지 조사하고, XIF 뉴런이 양의 리아프노프 지수를 유도하는 데서 수행하는 역할을 규명하기 위해.
• 유한 크기의 시냅스 입력을 가진 포아송 입력 하에서의 전압 확률 분포와 자기일관성 있는 발화 속도를 특성화하기 위해.
• 네트워크의 안정성 특성과 계산 능력 간의 연관성을 연결하여, 이러한 혼합 네트워크가 스파이크 기반 계산을 위한 리저보아로 활용될 잠재성을 탐색하기 위해.

제안 방법

• 유도성(LIF) 및 반유도성(XIF) 적분-화염 뉴런의 혼합 네트워크를 도전 기반 시냅스로 모델링하였다.
• 유한 크기의 시냅스 영향을 가진 포아송 분포 입력을 사용하여 자기일관성 있는 발화 속도와 전압 확률 분포를 계산하였다.
• 역학적 안정성과 변화의 방향을 분석하기 위해 리아프노프 지수(LEs)의 전체 스펙트럼과 공변 리아프노프 벡터(CLVs)를 계산하였다.
• CLV 성질에 의해 정당화된 평균장 접근법을 적용하여 XIF 뉴런 수와 양의 리아프노프 지수 수 사이의 선형 관계를 설명하였다.
• 네트워크 역학이 리저보아로 기능하는 스파이크 기반 계산 기반의 계획을 제안하였으며, XIF 뉴런 비율을 조절하여 계산 능력을 조절할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 단일 XIF 뉴론이 스파이킹 신경망의 전체 역학에 어떤 영향을 미치는가?
• RQ2 네트워크 내 XIF 뉴런 수와 양의 리아프노프 지수 수 사이의 관계는 무엇인가?
• RQ3 혼합 LIF-XIF 네트워크는 생물학적으로 타당한 시냅스를 갖추고 있을 때 균형 잡힌 비정규적인 이질적 스파이크 상태를 유지를 할 수 있는가?
• RQ4 전압 확률 분포와 발화 속도는 입력 통계와 뉴런 유형 조합에 어떻게 의존하는가?
• RQ5 이러한 네트워크의 역학적 제어 모드는 조절 가능한 계산 능력을 가진 스파이크 기반 계산에 활용될 수 있는가?

주요 결과

• 주로 LIF 네트워크에 단일 XIF 뉴런이 포함될 경우, XIF 뉴런 수당 약 한 개의 양의 리아프노프 지수가 발생함으로써 혼돈이 유도됨을 입증하였다.
• XIF 뉴런에 대해 단순 도전 기반 시냅스를 사용할 경우, 균형 잡힌 비정규적인 이질적 스파이크 상태를 유지할 수 있었다.
• 포아송 입력과 유한 크기의 시냅스 입력 조건 하에서 전압 확률 분포와 자기일관성 있는 발화 속도를 해석적으로 계산하였다.
• 리아프노프 지수의 전체 스펙트럼과 해당 공변 리아프노프 벡터(CLVs)를 계산하였으며, CLV 분석을 통해 XIF 뉴런 수에 비례하여 양의 리아프노프 지수의 선형 스케일링이 발생하는 것을 밝혀냈다.
• CLV의 구조에 의해 검증된 평균장 접근법이 XIF 뉴런 수와 양의 리아프노프 지수 수 사이의 관찰된 선형 관계를 성공적으로 설명하였다.
• 네트워크의 고유한 역학적 제어 모드(안정 vs. 혼돈)는 스파이크 기반 계산 기반의 리저보아로 사용될 경우, 조절 가능한 계산 능력을 제공한다.