[논문 리뷰] The thermodynamic temperature of a rhythmic spiking network

Paul Merolla, Tristan Ursell외 1명|arXiv (Cornell University)|2010. 09. 28.

Neural dynamics and brain function참고 문헌 17인용 수 12

한 줄 요약

이 논문은 포isson 분포의 입력 노이즈를 통해 온도를 정의함으로써, 자극 반응 신경망에 열역학 프레임워크를 도입한다. 이는 통계역학과 유사한 확률적 자극 반응을 가능하게 한다. 전역적 억제 리듬과 짧은 세포막 시간 상수를 도입함으로써, 자극 반응 뉴런을 사용하는 단일층 볼츠만 기계를 실현하였으며, 이는 이산적인 안착점 간의 확률적 전이를 보이며, 비평형 자극 반응 네트워크에서 평형 통계역학의 생물학적으로 타당한 유사성을 보여준다.

ABSTRACT

Artificial neural networks built from two-state neurons are powerful computational substrates, whose computational ability is well understood by analogy with statistical mechanics. In this work, we introduce similar analogies in the context of spiking neurons in a fixed time window, where excitatory and inhibitory inputs drawn from a Poisson distribution play the role of temperature. For single neurons with a "bandgap" between their inputs and the spike threshold, this temperature allows for stochastic spiking. By imposing a global inhibitory rhythm over the fixed time windows, we connect neurons into a network that exhibits synchronous, clock-like updating akin to neural networks. We implement a single-layer Boltzmann machine without learning to demonstrate our model.

연구 동기 및 목표

• 자기 평형 상태에 도달하지 않는 자극 반응 신경망에 대해 통계역학에서 온도와 유사한 역할을 하는 노이즈를 갖는 열역학적 유사성을 수립하기 위해.
• 비평형 자극 반응 네트워크에서 일관된 온도 정의가 부족하여 통계역학과의 연결이 끊어지는 문제를 해결하기 위해.
• 볼츠만 기계와 같은 표준 신경망 알고리즘을 확률적 동역학을 갖는 자극 반응 뉴런을 사용하여 실현할 수 있도록 하기 위해.
• 고정된 시간 창 내에서 적분-및-화염 뉴런의 측정 가능한 밴드갭과 효과적 온도를 정의하여 네트워크 전반에서 일관성을 확보하기 위해.
• 리듬적 억제와 포isson 입력 노이즈가 평형 통계역학과 유사한 확률적 안착점 역학을 생성할 수 있는지 보여주기 위해.

제안 방법

• 고정된 시간 창 $T_W$ 를 사용하여, 자극 반응(I&F) 뉴런의 밴드갭을 임계값과 입력 전류의 차이로 정의한다.
• 세포막 시간 상수 $\tau_m \ll T_W$ 를 사용하여 막 전위가 빠르게 포화되도록 하여 안정적인 시간 불변 밴드갭을 확보하고 열역학적 해석을 단순화한다.
• 열역학적 노이즈를 모방하기 위해 포isson 분포의 흥분성 및 억제성 입력을 도입하며, 입력 빈도를 네트워크의 열역학적 온도로 사용한다.
• 모든 뉴런을 정기적으로 리셋하기 위해 전역적인 사각형 파형의 억제 리듬을 적용하여 자극 반응을 동기화하고 이산 시간 업데이트를 가능하게 한다.
• 네 개의 이진 안착점(75% 희소성, 30% 겹침)으로 구성된 가중치 행렬을 갖는 I&F 뉴런의 순환 네트워크를 구성하여 볼츠만 기계를 모방한다.
• 각 창에서 자극 발생/미발생 상태인 이진 네트워크 상태를 사용하여 저장된 패턴과 상관관계를 계산하고, 안착점 간의 확률적 전이를 추적한다.

실험 결과

연구 질문

• RQ1 열역학적 온도를 자극 반응 뉴런 네트워크에 의미 있게 정의할 수 있는가? 이 네트워크는 열적 평형 상태에 도달하지 않는다.
• RQ2 포isson 분포의 입력 노이즈를 어떻게 제어하여 통계역학에서 온도와 유사한 방식으로 확률적 자극 반응을 유도할 수 있는가?
• RQ3 전역적 억제 리듬이 자극 반응 네트워크에서 동기화된 이산 시간 업데이트를 강제로 시행하여 인공신경망과의 유사성을 가능하게 할 수 있는가?
• RQ4 비평형 동역학을 가진 자극 반응 네트워크가 얼마나 깊이 볼츠만 기계와 유사한 확률적 안착점 역학을 나타낼 수 있는가?
• RQ5 특정 생물물리적 조건 하에서 고정된 시간 창 내에서 자극 반응 뉴런의 전송 함수가 로지스틱 함수나 스텝 함수로 잘 근사되는가?

주요 결과

• 네 개의 저장된 이진 패턴 간에 네트워크가 확률적 전이를 보이며, 상관관계가 한 안착점 주변을 빈번히 진동함으로써 볼츠만 유사 역학이 확인된다.
• 포isson 입력 노이즈의 사용이 네트워크의 열역학적 온도를 효과적으로 설정하며, 평형 통계역학에서 관찰되는 확률적 상태 전이와 유사한 전이를 가능하게 한다.
• 전역적 억제 리듬은 모든 뉴런에 걸쳐 동기화된 이산 시간 업데이트를 성공적으로 강제하여 네트워크 에너지와 온도의 일관된 측정을 가능하게 한다.
• $\tau_m \ll T_W$ 조건 하에서 밴드갭 개념은 잘 정의되어 있으며, 입력 전류와 자극 발생 확률 간의 안정적 맵핑을 가능하게 한다.
• 네트워크의 상태 궤적은 갑작스러운 안착점 간 전이를 보이며, 이는 볼츠만 기계에서 비제로 온도 동역학의 특징이다.
• 모델은 자극 반응 뉴런이 학습 없이도 표준 신경망 알고리즘(예: 볼츠만 기계)을 실현할 수 있음을 보여주며, 오직 노이즈와 리듬적 억제만으로도 가능하다.