[논문 리뷰] Exact computation of the Maximum Entropy Potential of spiking neural networks models

Rodrigo Cofré, Bruno Cessac|HAL (Le Centre pour la Communication Scientifique Directe)|2014. 05. 14.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 신경 모방 스파iking 뉴런 모델과 최대 엔트로피(MaxEnt) 모델 간의 정확한 분석적 사상(mapping)을 수립하며, MaxEnt 잠재력의 국소적 필드와 결합이 시냅스 가중치와 자극의 비선형 함수임을 보여준다. 핵심 결과는 MaxEnt 모델이 지수적으로 많은 매개변수를 갖지만, 실질적으로는 O(N²)개의 매개변수만 비영이 되므로, 뉴런 스파이크 통계에 숨겨진 저차원 구조가 존재함을 드러낸다.

ABSTRACT

Understanding how stimuli and synaptic connectivity in uence the statistics of spike patterns in neural networks is a central question in computational neuroscience. Maximum Entropy approach has been successfully used to characterize the statistical response of simultaneously recorded spiking neurons responding to stimuli. But, in spite of good performance in terms of prediction, the fitting parameters do not explain the underlying mechanistic causes of the observed correlations. On the other hand, mathematical models of spiking neurons (neuro-mimetic models) provide a probabilistic mapping between stimulus, network architecture and spike patterns in terms of conditional proba- bilities. In this paper we build an exact analytical mapping between neuro-mimetic and Maximum Entropy models.

연구 동기 및 목표

• 신경 모방 모델(스피킹 뉴런의 동역학을 시냅스 가중치와 자극에 의해 기술함)과 뉴런 스파이크 트레인 통계를 피팅하는 데 사용되는 최대 엔트로피 모델 간의 엄밀하고 정확한 대응 관계 수립.
• MaxEnt 라그랑주 승수(예: '기능적 상호작용' J_ij)의 해석 모호성을 제거하기 위해, 이들을 신경 모방 모델의 생물물리학적으로 의미 있는 매개변수와 연결함.
• 실제 신경 시스템에서 비영인 매개변수의 수가 작다는 점을 감안할 때, 고차원 MaxEnt 잠재력이 단순화될 수 있는지 조사함.
• 뉴런 다이내믹스 원리로부터 직접 MaxEnt 잠재력 유도를 통해 관측된 상관관계의 기계적 해석 제공.

제안 방법

• 신경 모방 모델(예: 선형-비선형 또는 적분-화염 모델 등)에서 정규화된 잠재력 φ를 유도하며, 시냅스 가중치 W_ij와 외부 자극 I에 명시적인 의존성을 포함함.
• MaxEnt 잠재력의 캐논리컬 형태를 사용하여 스파이크 패턴의 확률 분포를 국소적 필드 h_l과 결합 J_ij를 갖는 지브스 분포로 표현함.
• 비선형 함수적 사상에 의해 방정정식 (14)에 명시된 바와 같이, MaxEnt 매개변수(h_l, J_ij)와 신경 모방 매개변수(W, I) 간의 정확한 분석적 관계 수립.
• O(N²)의 신경 모방 매개변수와 O(2^{NR})의 MaxEnt 매개변수를 비교하여 MaxEnt 매개변수 공간의 차원을 분석함으로써, 일반적으로 O(N²)개의 매개변수만 비영임을 보여줌.
• 정규 분포를 따르는 시냅스 가중치를 가진 단순한 이중 뉴런 모델에 이 방법을 적용하여, MaxEnt 매개변수가 국소적 연결 외에도 전체 네트워크 아키텍처에 의존함을 보여줌.
• 프레임워크를 활용해 MaxEnt 계수 중 약간의 값이 0에 가까운 경우를 탐지함으로써, 실제 신경 데이터에 숨겨진 단순화 법칙을 밝혀냄.

실험 결과

연구 질문

• RQ1 최대 엔트로피 모델의 라그랑주 승수(국소적 필드 및 결합)가 신경 모방 스파이킹 뉴런 모델의 매개변수로부터 정확히 유도될 수 있는가?
• RQ2 MaxEnt 모델의 기능적 연결(J_ij)과 신경 모방 모델의 실제 시냅스 가중치(W_ij) 사이에 체계적인 관계가 존재하는가?
• RQ3 기억성과 고차원 상관관계가 존재하는 데도 불구하고, 왜 쌍방향 MaxEnt 모델이 뉴런 스파이크 트레인 데이터 피팅에 자주 잘 작동하는가?
• RQ4 실제 신경 모방 다이내믹스로부터 파생된 MaxEnt 매개변수는 저차원 구조를 보이며, 만약 그렇다면 이 단순화의 원인은 무엇인가?
• RQ5 정확한 사상이 실제 신경 시스템에서 많은 MaxEnt 계수가 약간 0에 가까운지 드러내어, 숨겨진 통계 법칙을 밝혀낼 수 있는가?

주요 결과

• 신경 모방 모델에서 파생된 MaxEnt 잠재력은 시냅스 가중치 행렬 W와 자극 I의 전반적인 비선형 함수이며, 국소적 연결만이 아니라 전체 구조에 의존함.
• MaxEnt 모델의 국소적 필드 h_l과 결합 J_ij는 W와 I의 비선형 함수이므로, MaxEnt의 기능적 상호작용이 개별 시냅스 가중치에 직접 대응하지는 않음.
• 기억 깊이 R을 가진 MaxEnt 모델은 O(2^{NR})의 매개변수 공간을 갖지만, 신경 모방 모델에서 유도될 경우 일반적으로 O(N²)개의 매개변수만 비영이 되므로, 상당한 차원 감소가 일어남.
• 일반적인 난수 시냅스 가중치 하에서 MaxEnt 계수 h_l가 0이 되는 확률은 0이므로, 실제 데이터에서 관측된 단순화 현상은 일반적이지 않으며 생물학적 제약에 기인함.
• 이 방법은 약간의 값이 0에 가까운 MaxEnt 계수를 탐지할 수 있으며, 이는 실제 신경 데이터에서 숨겨진 통계 법칙(예: 집단 활동을 잘 캐릭터라이즈하는 쌍방향 모델의 성공)을 드러낼 수 있음.
• 프레임워크는 네트워크 아키텍처와 자극 입력과 직접 연결함으로써 스파이크 트레인 상관관계에 대한 인과적, 기계적 해석을 제공함.