[논문 리뷰] Thermodynamics for a network of neurons: Signatures of criticality

Gašper Tkačik, Thierry Mora외 4명|arXiv (Cornell University)|2014. 07. 22.

Neural dynamics and brain function참고 문헌 50인용 수 21

한 줄 요약

이 논문은 뇌신경망에서 통계역학을 적용하여, 자극에 반응하는 시각망의 신경 활동 패턴 분포가 열역학적 한계에서 에너지당 엔트로피가 선형적으로 증가함으로써 임계성의 특징을 보임을 보여준다. 160개의 망막 갈망세포까지의 직접 실험 데이터와 최대 엔트로피 모델을 사용하여, 시스템이 임계점 근처에서 안정되어 있음을 발견하였으며, 이 상태를 유지하기 위해 상호작용이 정밀하게 조절되어 있음을 시사한다. 이는 임계성이 신경 코딩의 功能적 역할을 할 수 있음을 시사한다.

ABSTRACT

The activity of a neural network is defined by patterns of spiking and silence from the individual neurons. Because spikes are (relatively) sparse, patterns of activity with increasing numbers of spikes are less probable, but with more spikes the number of possible patterns increases. This tradeoff between probability and numerosity is mathematically equivalent to the relationship between entropy and energy in statistical physics. We construct this relationship for populations of up to N=160 neurons in a small patch of the vertebrate retina, using a combination of direct and model-based analyses of experiments on the response of this network to naturalistic movies. We see signs of a thermodynamic limit, where the entropy per neuron approaches a smooth function of the energy per neuron as N increases. The form of this function corresponds to the distribution of activity being poised near an unusual kind of critical point. Networks with more or less correlation among neurons would not reach this critical state. We suggest further tests of criticality, and give a brief discussion of its functional significance.

연구 동기 및 목표

• 신경군의 활동 패턴 분포가 뉴런 수가 증가함에 따라 열역학적 행동를 보이는지 조사하기.
• 관측된 활동 패턴 분포가 에너지당 엔트로피의 선형 관계를 통해 임계점 근처에 놓여 있는지 확인하기.
• 임계성이 뉴런 간 상호작용에 의해 발생하는지, 독립적 또는 상관없는 활동에 의해 발생하는지 테스트하기.
• 임계성의 기능적 의미를 분석하여, 임계성에서의 이격이 정보 인코딩에 어떤 영향을 미치는지 탐색하기.

제안 방법

• 저자들은 실험 데이터를 기반으로 가장 확률이 높은 상태에 대한 음의 로그 확률을 기반으로 각 활동 패턴의 효과적 에너지를 정의한다. 이는 160개의 망막 갈망세포에서의 실험 데이터를 사용한다.
• 주어진 에너지에서의 패턴 수 n(E)을 계산하고, 미세역학 엔트로피 S(E) = ln n(E)를 정의함으로써 열역학적 기술을 가능하게 한다.
• 엔트로피당 뉴런 수 S(E)/N을 에너지당 뉴런 수 E/N의 함수로 분석함으로써, 열역학적 한계(N → ∞)에서 매끄럽고 비자명한 함수로 수렴하는지 테스트한다.
• 최대 엔트로피 모델(실제 평균 발화율과 이차 상관관계로 제약된 최대 엔트로피 분포)을 사용하여 활동 패턴의 전체 확률 분포를 재구성한다.
• 모델 예측 엔트로피-에너지 관계를 실측 관계와 비교하여, 선형 S(E)/N ∝ E/N 스케일링을 통해 임계성 여부를 테스트한다.
• 모델의 파rameter를 변형하여 상관관계 강도를 변화시키면서도 평균 발화율은 일정하게 유지함으로써, 임계성의 강인성(로버스트니)을 검토한다.

실험 결과

연구 질문

• RQ1 신경 활동 패턴의 분포가 뉴런 수가 증가함에 따라 열역학적 한계를 보이는가?
• RQ2 신경군에서 관측된 엔트로피-에너지 관계가 선형적인 엔트로피-에너지 스케일링을 통해 임계점에 놓여 있는지 여부는?
• RQ3 상관관계 강도를 변화시켜 임계성에서의 이격이 발생할 경우, 엔트로피-에너지 관계가 선형성을 잃는가?
• RQ4 임계성이 뉴런 간 직접 상호작용이 아닌, 소수의 변동하는 외부 필드에 반응하는 방식으로 발생할 수 있는가?

주요 결과

• 열역학적 한계에서 뉴런당 엔트로피가 뉴런당 에너지와 선형적으로 증가함을 보였으며, 이는 임계성의 상징적인 특징이다. 이는 최대 160개의 망막 갈망세포에서의 데이터에서 관찰되었다.
• 선형 엔트로피-에너지 관계는 자연 영화, 전체 필드 플리커, 시공간적 화이트 노이즈를 포함한 다양한 시각 자극에서도 유지되며, 이는 강인성을 시사한다.
• 평균 발화율을 일정하게 유지하면서 상관관계 강도를 자연 상태에서 증가 또는 감소시키면, 엔트로피-에너지 관계가 선형성을 잃게 되며, 이는 임계성이 우연이 아니라 정밀하게 조절된 상호작용에 의해 유지됨을 보여준다.
• 이론적 모델링 결과, 뉴런이 넓은 동적 범위를 가진 소수의 효과적 외부 필드에 반응할 경우, 직접 상호작용이 없더라도 임계성이 발생할 수 있음을 시사한다.
• 관측된 임계 상태는 고정된 필드를 가진 평균장 모델로는 설명되지 않으며, 임계성을 유지하기 위해 필드 분포의 자기일관성 조절이 필요하다.
• 결과는 신경망이 임계점 근처에 놓여 있으며, 상호작용의 미세한 변화가 임계 스케일링을 파괴함으로써 기능적 의미를 지닌다는 것을 시사한다.