[논문 리뷰] Spike-based probabilistic inference with correlated noise

Ilja Bytschok, Dominik Dold외 3명|arXiv (Cornell University)|2017. 07. 06.

Neural dynamics and brain function참고 문헌 1인용 수 7

한 줄 요약

이 논문은 공유된 전시성 입력에서 유래하는 상관관계가 있는 노이즈가 존재하더라도 스파iking 신경망에서 스파이크 기반 확률적 추론이 여전히 강건함을 보여주며, 이러한 노이즈는 시냅스 가중치와 편향을 체계적으로 조정함으로써 상쇄될 수 있음을 밝힌다. 핵심 기여는 노이즈 상관관계와 네트워크 파라미터 사이의 일대일 대응 관계를 제안함으로써, 공유된 입력 노이즈가 존재하는 상황에서도 정확한 볼츠만 분포 샘플링을 가능하게 하여 학습 성능을 유지함을 보여준다.

ABSTRACT

A steadily increasing body of evidence suggests that the brain performs probabilistic inference to interpret and respond to sensory input and that trial-to-trial variability in neural activity plays an important role. The neural sampling hypothesis interprets stochastic neural activity as sampling from an underlying probability distribution and has been shown to be compatible with biologically observed firing patterns. In many studies, uncorrelated noise is used as a source of stochasticity, discounting the fact that cortical neurons may share a significant portion of their presynaptic partners, which impacts their computation. This is relevant in biology and for implementations of neural networks where bandwidth constraints limit the amount of independent noise. When receiving correlated noise, the resulting correlations cannot be directly countered by changes in synaptic weights $W$. We show that this is contingent on the chosen coding: when changing the state space from $z\in\{0,1\}$ to $z'\in\{-1,1\}$, correlated noise has the exact same effect as changes in $W'$. The translation of the problem to the $\{-1,1\}$ space allows to find a weight configuration that compensates for the induced correlations. For an artificial embedding of sampling networks, this allows a straightforward transfer between platforms with different bandwidth constraints. The existence of the mapping is important for learning. Since in the $\{-1,1\}$-coding the correlated noise can be compensated by parameter changes and the probability distribution can be kept invariant when changing the coding, the distribution will be found in the $\{0,1\}$-coding as well during learning, as demonstrated in simulations. Conclusively, sampling spiking networks are impervious to noise correlations when trained. If such computation happens in cortex, network plasticity does not need to take account of shared noise inputs.

연구 동기 및 목표

• 공유된 전시성 입력에서 유래하는 상관관계가 있는 노이즈가 스파iking 신경망 내 확률적 추론에 미치는 영향을 조사하는 것.
• 공유된 노이즈가 스파이킹 네트워크에서 목표 볼츠만 분포에서의 샘플링을 방해하는지 여부를 확인하는 것.
• 학습 능력과 원하는 분포에서의 샘플링 능력을 유지하면서 노이즈 상관관계를 보완할 수 있는 방법을 개발하는 것.
• 공유된 노이즈 원천이 존재하는 대역폭 제한 조건 또는 생물학적으로 현실적인 조건에서 신뢰성 있는 스파이킹 네트워크 훈련을 가능하게 하는 것.

제안 방법

• 저자는 스파이킹 네트워크를 유도적 적분-화염(LIF) 뉴런으로 모델링하며, 그 활동이 이진 상태에 대한 볼츠만 분포에서의 샘플링으로 해석될 수 있음을 가정한다.
• 노이즈 상관관계 및 가중치 영향 분석을 단순화하기 위해 {0,1} 뉴런 상태에서 {-1,1} 상태로의 변환을 도입한다.
• 상관관계 계수 r을 중간 변수로 사용하여, 공유 노이즈 비율 s와 {-1,1} 상태 공간 내 필수 시냅스 가중치 변화 ΔW′ 사이의 일대일 대응 관계를 유도한다.
• 변환식 W = 4W′ 및 b = 2b′ + 2W′을 통해 이 대응 관계를 {0,1} 상태 공간으로 다시 변환함으로써 확률 분포를 유지한다.
• 2-뉴런 및 10-뉴런 LIF 네트워크에서 KL 발산을 비교하여 보정이 있음과 없음의 경우 샘플링 분포와 목표 분포 간의 차이를 검증함으로써 보정 방법의 유효성을 입증한다.
• 워크-슬립 학습 알고리즘을 직접 LIF 네트워크에 적용하여, 노이즈 상관관계가 존재하더라도 학습이 효과적으로 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 스파이킹 신경망에서 상관관계가 있는 노이즈가 목표 볼츠만 분포에서의 정확한 샘플링을 방해할 수 있는가?
• RQ2 공유된 노이즈 입력의 존재가 스파이킹 네트워크가 샘플링할 수 있는 분포의 가족을 변화시키는가?
• RQ3 스파이크 가중치와 편향을 체계적으로 조정함으로써 상관관계가 있는 노이즈의 영향을 완전히 상쇄시킬 수 있는가?
• RQ4 보정 방법은 다양한 네트워크 크기와 노이즈 상관관계 수준에서 강건한가?
• RQ5 노이즈 상관관계가 존재하는 상황에서도 워크-슬립과 같은 표준 학습 규칙이 여전히 스파이킹 네트워크에서 효과적으로 작용할 수 있는가?

주요 결과

• 상관관계가 있는 노이즈는 동기화된 상태 (0,0) 및 (1,1) 쪽으로 확률 질량을 이동시키며, 이는 시냅스 가중치 Wij 증가의 영향과는 다름.
• 상관관계가 있는 노이즈가 존재하더라도 샘플링된 분포는 여전히 볼츠만 분포이지만, 파라미터가 수정된 형태로 유지되어 신경망 샘플링의 이론적 프레임워크가 그대로 유지됨.
• {-1,1} 상태 공간 내에서 노이즈 상관관계 강도 s와 필수 시냅스 가중치 변화 ΔW′ 사이의 일대일 대응 관계가 유도되었으며, 이는 정밀한 보정을 가능하게 함.
• 유도된 대응 관계를 사용한 보정 이후, 공유 노이즈로 인한 샘플링 오차가 거의 완전히 복원되었으며, 검증된 분포에 대해 KL 발산이 거의 0 수준으로 감소함.
• 워크-슬립 학습 알고리즘이 볼츠만 기반 기계에서 LIF 네트워크로 직접 매개변수를 옮기는 것보다 성능이 뛰어나, 동적 불일치에 더 강건한 종단 간 훈련이 가능함을 시사함.
• 결과적으로, 적절한 매개변수 보정이 적용된다면 네트워크의 가소성은 노이즈 상관관계를 별도로 고려할 필요 없이도 충분히 기능함을 시사함.