[논문 리뷰] Stochastic neural computation without noise

Jakob Jordan, Mihai A. Petrovici외 5명|arXiv (Cornell University)|2017. 10. 13.

Neural dynamics and brain function인용 수 2

한 줄 요약

이 논문은 확률적 신경망에서 공유되는 노이즈 소스로 결정론적 순환 신경망을 사용하는 것을 제안하며, 억제성 피드백을 활용해 노이즈 간 상관관계를 제거하고 개별 뉴런마다 별도의 노이즈 소스가 필요 없도록 한다. 이 방법은 수천 개의 뉴런을 포함하는 대규모 기능 네트워크를 구현할 수 있게 하여, 단 하나의 컴act한 노이즈 생성 네트워크로도 높은 성능을 달성하며, 이는 이진 및 스파iking 뉴런 모델에서 모두 검증되었다.

ABSTRACT

Neural-network models of high-level brain functions such as memory recall and reasoning often rely on the presence of stochasticity. The majority of these models assumes that each neuron in the functional network is equipped with its own private source of randomness, often in the form of uncorrelated external noise. However, both in vivo and in silico, the number of noise sources is limited due to space and bandwidth constraints. Hence, neurons in large networks usually need to share noise sources. Here, we show that the resulting shared-noise correlations can significantly impair the performance of stochastic network models. We demonstrate that this problem can be overcome by using deterministic recurrent neural networks as sources of uncorrelated noise, exploiting the decorrelating effect of inhibitory feedback. Consequently, even a single recurrent network of a few hundred neurons can serve as a natural noise source for large ensembles of functional networks, each comprising thousands of units. We successfully apply the proposed framework to a diverse set of binary-unit networks with different dimensionalities and entropies, as well as to a network reproducing handwritten digits with distinct predefined frequencies. Finally, we show that the same design transfers to functional networks of spiking neurons.

연구 동기 및 목표

• 공유되는 노이즈 소스로 인해 상관관계로 인해 성능이 저하되는 대규모 신경망의 한계를 해결하기 위해.
• 생물학적 및 계산 자원 제약로 인해 뉴런당 독립적인 노이즈 소스를 사용하는 데에 제한을 받는 대안을 확장 가능하게 개발하기 위해.
• 단일 결정론적 순환 네트워크가 다수의 기능 네트워크에 대해 통용 가능한 상관관계가 없는 노이즈 소스로 기능할 수 있음을 입증하기 위해.
• 이론적 프레임워크를 다양한 네트워크 아키텍처, 특히 이진 및 스파킹 뉴런 모델을 포함해 검증하기 위해.
• 공유 노이즈 상관관계를 결정론적 네트워크 내의 피드백 기반 디코릴레이션을 통해 효과적으로 완화할 수 있음을 보여주기 위해.

제안 방법

• 작은 결정론적 순환 신경망(RNN)을 중심화된 노이즈 생성기로 사용하여 개별적인 확률적 노이즈 소스를 대체한다.
• RNN 내부의 억제성 피드백이 내재적으로 노이즈 신호의 상관관계를 제거하는 효과를 활용한다.
• RNN의 출력을 여러 기능 네트워크에 공급하며, 각각 기억 회상 또는 추론과 같은 고수준 뇌 기능을 시뮬레이션한다.
• RNN의 내부 역학과 피드백 메커니즘 덕분에 기능 네트워크 간에 노이즈 신호가 상관관계가 없도록 보장한다.
• 다양한 차원성과 엔트로피를 가진 이진 뉴런 네트워크에 이 프레임워크를 적용한다. 또한 고정 주파수 응답을 갖는 수기 숫자 인식 네트워크에도 적용한다.
• 스파킹 뉴런으로 구성된 기능 네트워크로 이 접근법을 확장하여, 뉴런 모델 간의 이식성(transferability)을 입증한다.

실험 결과

연구 질문

• RQ1 단일 결정론적 순환 네트워크가 확률적 신경망 내에서 다수의 독립적인 노이즈 소스를 효과적으로 대체할 수 있는가?
• RQ2 공유되는 노이즈 상관관계는 대규모 확률적 신경망의 성능에 어떤 영향을 미치는가?
• RQ3 결정론적 RNN 내의 억제성 피드백이 다수의 기능 네트워크에 사용 가능한 노이즈 신호를 얼마나 효과적으로 디코릴레이션할 수 있는가?
• RQ4 제안된 프레임워크는 고차원 및 저엔트로피 시스템을 포함한 다양한 네트워크 아키텍처에서 성능을 유지하는가?
• RQ5 동일한 노이즈 생성 RNN이 이진 뉴런 네트워크와 스파킹 뉴런 네트워크 양쪽 모두에 성공적으로 적용될 수 있는가?

주요 결과

• 수백 개의 뉴런을 가진 단일 결정론적 RNN이 수천 개의 뉴런을 포함하는 다수의 기능 네트워크에 대해 효과적이고 상관관계가 없는 노이즈 소스로 기능할 수 있다.
• RNN 내부의 억제성 피드백이 노이즈 신호의 상관관계를 성공적으로 제거하여, 공유 노이즈 상관관계로 인한 성능 저하를 방지한다.
• 다양한 차원성과 엔트로피를 가진 이진 뉴런 네트워크에서도 높은 성능을 유지하며, 이는 강건성을 입증한다.
• 고정 주파수 응답을 갖는 수기 숫자 인식을 성공적으로 재현하여, 기능적 정밀도를 확인한다.
• 스파킹 뉴런으로 구성된 기능 네트워크로의 설계 이식이 효과적으로 이루어져, 이진 뉴런을 초월한 광범위한 적용 가능성을 시사한다.
• 공유 노이즈로 인한 성능 저하가 제거되어, 개별 노이즈 소스 없이도 확장 가능한 확률적 신경계산이 가능해진다.