[논문 리뷰] Computational Tradeoffs in Biological Neural Networks: Self-Stabilizing Winner-Take-All Networks

Nancy Lynch, Cameron Musco외 1명|arXiv (Cornell University)|2016. 10. 06.

Advanced Memory and Neural Computing참고 문헌 28인용 수 5

한 줄 요약

이 논문은 승자-한 명이 가져가는(WTA) 네트워크에서의 계산적 트레이드오프를 연구하기 위해 생물학적으로 타당한 확률적 스파iking 신경망 모델을 제안한다. 주로 억제의 복잡성이 수렴 시간에 미치는 영향을 중심으로 다룬다. 두 가지 구성 방식을 제시한다: 하나는 O(θ)의 기대 수렴 시간을 달성하며 O(log^{1/θ}n)개의 억제성 뉴런을 사용하고, 다른 하나는 O(log^{1/θ}n)의 시간을 사용하면서 O(θ)개의 억제성 뉴런을 사용한다. 또한, ≥ log log n개의 억제성 뉴런을 갖는 네트워크는 Ω(log log n)라운드가 필요하다는 거의 날것 그대로의 하한선을 제시하여 WTA의 효율성에 대한 근본적인 한계를 드러낸다.

ABSTRACT

We initiate a line of investigation into biological neural networks from an algorithmic perspective. We develop a simplified but biologically plausible model for distributed computation in stochastic spiking neural networks and study tradeoffs between computation time and network complexity in this model. Our aim is to abstract real neural networks in a way that, while not capturing all interesting features, preserves high-level behavior and allows us to make biologically relevant conclusions. In this paper, we focus on the important `winner-take-all' (WTA) problem, which is analogous to a neural leader election unit: a network consisting of $n$ input neurons and $n$ corresponding output neurons must converge to a state in which a single output corresponding to a firing input (the `winner') fires, while all other outputs remain silent. Neural circuits for WTA rely on inhibitory neurons, which suppress the activity of competing outputs and drive the network towards a converged state with a single firing winner. We attempt to understand how the number of inhibitors used affects network convergence time. We show that it is possible to significantly outperform naive WTA constructions through a more refined use of inhibition, solving the problem in $O(θ)$ rounds in expectation with just $O(\log^{1/θ} n)$ inhibitors for any $θ$. An alternative construction gives convergence in $O(\log^{1/θ} n)$ rounds with $O(θ)$ inhibitors. We compliment these upper bounds with our main technical contribution, a nearly matching lower bound for networks using $\ge \log\log n$ inhibitors. Our lower bound uses familiar indistinguishability and locality arguments from distributed computing theory. It lets us derive a number of interesting conclusions about the structure of any network solving WTA with good probability, and the use of randomness and inhibition within such a network.

연구 동기 및 목표

• 생물학적 신경망에서 계산 시간과 네트워크 복잡성 간의 알고리즘적 트레이드오프를 조사하기 위해.
• 생물학적으로 타당하고 확률적 스파이킹 신경망(SNN) 프레임워크에서 승자-한 명이 가져가는(WTA) 계산을 모델링하기 위해.
• 억제성 뉴런의 수가 WTA 네트워크의 수렴 시간에 어떻게 영향을 미치는지 분석하기 위해.
• WTA 수렴에 대해 날것 그대로의 이론적 하한선을 설정하여 효율성의 근본적 한계를 드러내기 위해.
• 랜덤화된 억제를 사용하여, 어떤 초기 상태에서라도 수렴하는 자가안정성(self-stabilization)을 보여주기 위해.

제안 방법

• 뉴런이 막막 전위에 기반해 확률적으로 작동하는 스파이킹 신경망(SNN) 모델을 개발하며, 시그모이드 스파이킹 함수를 사용한다.
• WTA를 n개의 입력 뉴런, n개의 출력 뉴런, 그리고 α개의 보조 억제성 뉴런을 갖는 분산 계산 문제로 모델링한다.
• 두 단계의 서브라운드 메커니즘을 도입한다: 첫째, 보조 뉴런들이 입력 활성도에 따라 작동한다; 둘째, 출력 뉴런들이 억제에 기반해 확률적으로 작동한다.
• 실행 트리 순회를 통해 수렴을 분석하며, 라운드별 확률 질량을 추적하고, 비약한 WTA 상태(non-weak-WTA states)를 식별한다.
• 분산 계산에서 유래한 동일시성(indistinguishability)과 국소성(locality)의 추론을 적용하여 수렴 시간에 대한 하한선을 유도한다.
• 균형 잡힌 확률 분석(amortized probability analysis)을 사용하여 비약한 WTA 구성의 무게를 제한함으로써 주요 하한선을 이끌어낸다.

실험 결과

연구 질문

• RQ1 억제성 뉴런의 수가 확률적 스파이킹 모델에서 WTA 네트워크의 기대 수렴 시간에 어떻게 영향을 미치는가?
• RQ2 서브라인 시간 내에 서브라인 수의 억제성 뉴런을 사용하여 WTA를 해결할 수 있으며, 그 트레이드오프는 무엇인가?
• RQ3 ≥ log log n개의 억제성 뉴런을 사용할 경우 WTA 수렴 시간에 대한 근본적인 하한선은 무엇인가?
• RQ4 스파이킹 행동의 랜덤성은 WTA 네트워크의 안정성과 수렴에 어떻게 영향을 미치는가?
• RQ5 WTA 네트워크는 자가안정성을 갖는가? 즉, 임의의 초기 구성에서도 올바른 상태로 수렴할 수 있는가?

주요 결과

• 논문은 임의의 θ > 0에 대해 O(θ)의 기대 수렴 라운드를 달성하면서 O(log^{1/θ}n)개의 억제성 뉴런만을 사용하는 WTA 네트워크를 구성한다.
• 다른 구성은 O(θ)개의 억제성 뉴런을 사용하면서 O(log^{1/θ}n)의 수렴 시간을 달성하여 시간과 억제성 뉴런 수 사이의 트레이드오프를 보여준다.
• 거의 일치하는 하한선이 증명되었다: ≥ log log n개의 억제성 뉴런을 갖는 모든 WTA 네트워크는 Ω(log log n)의 기대 수렴 라운드가 필요하다.
• 이 하한선은 분산 계산에서 유래한 동일시성과 국소성의 추론을 신경망 환경에 적응하여 도출되었다.
• 분석 결과, 소수의 억제성 뉴런을 갖는 네트워크는 확률적 안정화에 의존해야 하며, 모델 하에서 자가안정성이 달성 가능하다는 것이 드러났다.
• 여러 개의 활성 출력이 존재할 경우 총 리셋(출력이 전혀 발생하지 않는 경우)의 확률은 Θ(1/(log log n)^3) 이하로 제한되며, 이는 수렴 제어를 가능하게 한다.