[논문 리뷰] Winner-Take-All Computation in Spiking Neural Networks

Nancy Lynch, Cameron Musco외 1명|arXiv (Cornell University)|2019. 04. 25.

Advanced Memory and Neural Computing참고 문헌 80인용 수 10

한 줄 요약

이 논문은 고정된 비대칭 시냅스 가중치를 갖는 생물학적으로 타당한 확률적 스파iking 신경망 모델을 제안하며, 확률적 임계값 뉴런을 사용하여 승자 한 명(위너-take-all, WTA) 문제를 효율적으로 해결한다. WTA 회로에 대한 거의 최적의 구성법을 제공하고, 수렴을 위해 필요한 보조 뉴런 수에 대한 이론적 하한을 설정하며, 무작위성이 신경계 계산에서 효율적인 대칭성 해제를 가능하게 한다는 것을 입증한다.

ABSTRACT

In this work we study biological neural networks from an algorithmic perspective, focusing on understanding tradeoffs between computation time and network complexity. Our goal is to abstract real neural networks in a way that, while not capturing all interesting features, preserves high-level behavior and allows us to make biologically relevant conclusions. Towards this goal, we consider the implementation of algorithmic primitives in a simple yet biologically plausible model of $stochastic\ spiking\ neural\ networks$. In particular, we show how the stochastic behavior of neurons in this model can be leveraged to solve a basic $symmetry-breaking\ task$ in which we are given neurons with identical firing rates and want to select a distinguished one. In computational neuroscience, this is known as the winner-take-all (WTA) problem, and it is believed to serve as a basic building block in many tasks, e.g., learning, pattern recognition, and clustering. We provide efficient constructions of WTA circuits in our stochastic spiking neural network model, as well as lower bounds in terms of the number of auxiliary neurons required to drive convergence to WTA in a given number of steps. These lower bounds demonstrate that our constructions are near-optimal in some cases. This work covers and gives more in-depth proofs of a subset of results originally published in [LMP17a]. It is adapted from the last chapter of C. Musco's Ph.D. thesis [Mus18].

연구 동기 및 목표

• 생물학적 신경망에서 계산 시간과 네트워크 복잡성 간의 알고리즘적 트레이드오프를 연구하기 위해.
• 핵심 생물학적 특성을 반영하는 확률적 스파iking 신경망 모델에서 효율적인 WTA 회로를 설계하기 위해.
• WTA 수렴을 위해 필요한 보조 뉴런 수에 대한 渐近적 하한을 설정하여 제안된 구성법의 거의 최적성을 증명하기 위해.
• 뉴런을 고정된 비대칭 시냅스 가중치를 갖는 확률적 임계값 단위로 모델링함으로써 이론적 분석과 생물학적 타당성 간의 다리를 놓기 위해.
• 기초 신경계 계산 원리(예: WTA)를 기본 구성 요소로 삼아 알고리즘 이론의 기초를 마련하기 위해.

제안 방법

• 뉴런을 막막전위에 기반한 시그모이드 확률로 스파이크를 발생시키는 확률적 임계값 단위로 모델링하여 신경계의 내재적 무작위성을 반영한다.
• 생물학적 시냅스를 모방하기 위해 고정된 비대칭 시냅스 가중치(흥장성 또는 억제성)를 사용하며, 볼츠만 기계의 대칭 가중치 제약을 피한다.
• 동기화 업데이트 모델을 사용하여 뉴런이 입력 전위에 기반해 확률적으로 스파이크를 발생시키며, 수렴 동역학 분석이 가능하게 한다.
• 보조 뉴런을 사용하여 입력 스파이크 빈도의 차이를 증폭시키는 WTA 회로를 설계하며, 입력이 동일한 경우에도 확률적 경쟁을 통해 기능한다.
• 확률적 분석과 농도 부등식을 적용하여 수렴 시간과 보조 뉴런 수에 대한 하한을 유도한다.
• 주어진 단계 수 내에서 WTA를 수렴시키기 위해 필요한 보조 뉴런 수에 대한 하한을 증명하며, 일부 영역에서 제안된 구성법이 거의 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 고정된 시냅스 가중치를 갖는 생물학적으로 타당한 확률적 스파이킹 신경망 모델에서 승자 한 명 문제를 어떻게 효율적으로 구현할 수 있는가?
• RQ2 이러한 모델에서 주어진 시간 범위 내에 WTA 수렴을 달성하기 위해 필요한 최소 보조 뉴런 수는 얼마인가?
• RQ3 신경계 스파이크의 내재적 무작위성은 리더 선출과 같은 대칭성 해제 작업을 계산적으로 효율적으로 해결하는 데 활용될 수 있는가?
• RQ4 제안된 WTA 구성법은 자원 효율성(시간 및 뉴런 수) 측면에서 이론적 하한과 비교해 어떻게 되는가?
• RQ5 무작위성과 고정된 가중치를 사용할 경우 기초 신경계 계산 원리의 구현에 어떤 영향을 미치는가?

주요 결과

• 논문은 입력 수에 대해 로그 시간 내에 수렴하는 효율적인 WTA 회로 구성법을 제안하며, 이는 스파이킹 신경망 모델에서의 효율적 수렴을 보여준다.
• WTA 수렴을 위해 필요한 보조 뉴런 수에 대한 이론적 하한을 설정하며, 제안된 구성법이 특정 매개변수 영역에서 거의 최적임을 입증한다.
• 뉴런 스파이크의 무작위성 덕분에 입력 뉴런의 스파이크 빈도가 동일한 경우에도 효과적인 대칭성 해제가 가능하며, 리더 선출 문제를 해결할 수 있다.
• 모델는 신경계 스파이크의 무작위성이 효율적인 신경계 계산 문제 해결에 유용한 계산 자원이 될 수 있음을 보여준다.
• 기존 연구를 확장하여 스파이킹 네트워크에서 WTA의 시간 복잡도와 공간 복잡도에 대한 엄밀한 渐近적 분석을 제공하며, 이 분야의 이론적 한계를 메우는 데 기여한다.
• 이 프레임워크는 향후 SNN에서 히프만 무게 추정, 문자열 매칭, 선형 대수 연산 등의 기본 신경계 계산 원리를 탐색하는 데 기여할 수 있다.