[논문 리뷰] Stochastic inference with deterministic spiking neurons

Mihai A. Petrovici, Johannes Bill외 3명|arXiv (Cornell University)|2013. 11. 13.

Neural dynamics and brain function인용 수 22

한 줄 요약

이 논문은 잡음이 있는 스파iking 환경에 통합된 결정론적 누설 적분-화이어(LIF) 뉴런의 순환 네트워크가 표적 사후 분포에서 표본을 추출함으로써 정확한 베이지안 추론을 수행할 수 있음을 보여준다. 분석적 유도와 시뮬레이션을 통해 네트워크가 겅제 샘플링과 일치하는 올바른 발화 통계를 달성함으로써, 결정론적 뉴런 동역학에도 불구하고 표본 기반 확률적 추론이 가능하다는 것을 입증한다.

ABSTRACT

The seemingly stochastic transient dynamics of neocortical circuits observed in vivo have been hypothesized to represent a signature of ongoing stochastic inference. In vitro neurons, on the other hand, exhibit a highly deterministic response to various types of stimulation. We show that an ensemble of deterministic leaky integrate-and-fire neurons embedded in a spiking noisy environment can attain the correct firing statistics in order to sample from a well-defined target distribution. We provide an analytical derivation of the activation function on the single cell level; for recurrent networks, we examine convergence towards stationarity in computer simulations and demonstrate sample-based Bayesian inference in a mixed graphical model. This establishes a rigorous link between deterministic neuron models and functional stochastic dynamics on the network level.

연구 동기 및 목표

• 결정론적 뉴런 모델과 신경 회로 내의 확률적 추론 사이의 격차를 메우기 위해.
• 결정론적 뉴런이 잘 정의된 확률 분포에서 표본을 추출하기 위해 필요한 통계적 동역학을 재현할 수 있음을 보여주기 위해.
• 결정론적 단일 뉴런 동역학과 베이지안 추론에서 네트워크 수준의 확률적 행동 사이의 功能적 연결을 구축하기 위해.
• 생물학적으로 타당한 결정론적 뉴런 모델을 사용하여 순환 스파이킹 네트워크에서 표본 기반 베이지안 추론을 가능하게 하기 위해.

제안 방법

• 뉴런은 전도도 기반 시냅스를 갖는 누설 적분-화이어(LIF) 뉴런이며, 막 전위 임계값을 초과할 경우에만 결정론적 스파이크 규칙을 적용한다.
• 잡음은 확률적 시냅스 입력을 통해 도입되며, 고전도도 상태를 만들어내어 막 전위의 확산적 변동을 유도한다.
• 막 전위는 겅제 샘플링에 필요한 활성화 함수와 일치하도록 분석적으로 유도되며, 올바른 발화 통계를 보장한다.
• 네트워크의 순환 연결성은 볼츠만 머신을 구현하며, 가중치와 바이어스는 표적 사후 분포를 인코딩한다.
• 휴지기 시간은 활성화 지속 시간 $\tau_{\mathrm{on}}$ 과 동일하게 설정되어 표본 추출 시간 창과 일치한다.
• 시뮬레이션을 통해 정적 상태에 수렴하고, 부분 관측 조건 하에서 사전 및 사후 분포로부터의 정확한 표본 추출을 검증한다.

실험 결과

연구 질문

• RQ1 잡음 환경에서의 결정론적 스파이킹 뉴런이 베이지안 표본 추출에 필요한 확률적 동역학을 재현할 수 있는가?
• RQ2 결정론적 뉴런의 활성화 함수는 겅제 샘플링의 통계적 요구사항을 충족시키기 위해 어떻게 유도될 수 있는가?
• RQ3 고전도도 상태가 결정론적 뉴런을 사용한 확률적 추론을 가능하게 하는 기능적 역할은 무엇인가?
• RQ4 모델링 단순화(예: 절대 휴지기, 독립적 잡음)가 표본 추출 정확도에 어떤 영향을 미치는가?
• RQ5 이러한 네트워크는 부분적 또는 모호한 감각 입력에 대해 온라인, 즉각적인 베이지안 추론을 수행할 수 있는가?

주요 결과

• 혼합 그래픽 모델에서 부분 관측 조건 하에 네트워크가 표적 사후 분포 $p(\boldsymbol{z}|\boldsymbol{y})$ 에서 성공적으로 표본을 추출함을 입증하였다.
• 20ms 박스 필터 하에서 네트워크는 정확한 주변 통계를 보이며, 순환 가중치 행렬에 저장된 숫자에 해당하는 별도의 모드를 나타낸다.
• 입력이 모호할 경우(예: 숫자 0와 충돌하는 경우), 사후 분포는 숫자 0에 대한 확률이 억제되고 숫자 3과 4 사이에 이중 모드의 불확실성이 나타난다.
• 시뮬레이션에서 네트워크는 정적 상태에 수렴하며, 시간이 지남에 따라 분포의 다양한 모드를 순환 방문함으로써 적절한 표본 추출 동역학을 반영한다.
• 분석적 유도를 통해 효과적 막 전위 $v_k = b_k + y_k + \sum_j W_{kj} z_j$ 가 겅제 샘플링에 요구되는 형태와 일치함을 보였다.
• 단순화된 가정(예: 절대 휴지기, 즉각적 전파)에도 불구하고 대부분의 시나리오에서 시뮬레이션 결과 표적 분포에서 최소한의 편차를 보였다.