[논문 리뷰] The Computational Cost of Asynchronous Neural Communication

Yael Hitron, Merav Parter외 1명|arXiv (Cornell University)|2020. 01. 01.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 스파iking 뉴런을 사용하는 랜덤화된 신경 타이머를 소개하며, 오직 O(log log 1/δ)개의 뉴런으로 시간을 측정함으로써, Θ(log t)개의 뉴런을 필요로 하는 결정론적 카운터에 비해 비용을 크게 감소시킨다. 핵심 혁신은 한 개의 확률적 스파이킹 뉴런과 결정론적 임계값 게이트를 사용한 압축된 카운팅 메커니즘으로, 타이머 설계에서 랜덤화된 신경망과 결정론적 스파이킹 신경망 간의 증명 가능한 분리성을 달성한다.

ABSTRACT

Biological neural computation is inherently asynchronous due to large variations in neuronal spike timing and transmission delays. So-far, most theoretical work on neural networks assumes the synchronous setting where neurons fire simultaneously in discrete rounds. In this work we aim at understanding the barriers of asynchronous neural computation from an algorithmic perspective. We consider an extension of the widely studied model of synchronized spiking neurons [Maass, Neural Networks 97] to the asynchronous setting by taking into account edge and node delays. - Edge Delays: We define an asynchronous model for spiking neurons in which the latency values (i.e., transmission delays) of non self-loop edges vary adversarially over time. This extends the recent work of [Hitron and Parter, ESA'19] in which the latency values are restricted to be fixed over time. Our first contribution is an impossibility result that implies that the assumption that self-loop edges have no delays (as assumed in Hitron and Parter) is indeed necessary. Interestingly, in real biological networks self-loop edges (a.k.a. autapse) are indeed free of delays, and the latter has been noted by neuroscientists to be crucial for network synchronization. To capture the computational challenges in this setting, we first consider the implementation of a single NOT gate. This simple function already captures the fundamental difficulties in the asynchronous setting. Our key technical results are space and time upper and lower bounds for the NOT function, our time bounds are tight. In the spirit of the distributed synchronizers [Awerbuch and Peleg, FOCS'90] and following [Hitron and Parter, ESA'19], we then provide a general synchronizer machinery. Our construction is very modular and it is based on efficient circuit implementation of threshold gates. The complexity of our scheme is measured by the overhead in the number of neurons and the computation time, both are shown to be polynomial in the largest latency value, and the largest incoming degree Δ of the original network. - Node Delays: We introduce the study of asynchronous communication due to variations in the response rates of the neurons in the network. In real brain networks, the round duration varies between different neurons in the network. Our key result is a simulation methodology that allows one to transform the above mentioned synchronized solution under edge delays into a synchronized under node delays while incurring a small overhead w.r.t space and time.

연구 동기 및 목표

• 스파이킹 신경망에서 시간 측정의 알고리즘적 비용을 이해하고, 특히 결정론적 접근과 랜덤화된 접근 간의 상호 교환 관계를 분석한다.
• 신경 타이머 문제를 해결한다: 입력 스파이크가 발생한 후 정확히 t번의 연속 라운드 동안 출력 뉴런이 발화하도록 작동하는 최소한의 신경망을 설계한다.
• 랜덤성이 스파이킹 신경망에서 타이머를 구현하기 위해 필요한 뉴런 수를 결정론적 해법보다 줄일 수 있는지 탐색한다.
• 낮은 오버헤드로 비동기 설정에서 동기화된 신경망 알고리즘을 실행할 수 있도록 하는 일반적인 시뮬레이션 기법을 개발한다.
• 스파이킹 신경망의 시간 측정 맥락에서 결정론적 및 랜덤화된 구성 간의 이론적 분리를 확립한다.

제안 방법

• 입력 뉴런 x가 출력 뉴런 y가 정확히 t번의 연속된 라운드 동안 발화하도록 하는 신경 타이머 문제를 제안한다.
• 실패 확률이 최대 δ가 되도록, 한 개의 확률적 스파이킹 뉴런과 O(log log 1/δ)개의 결정론적 임계값 게이트를 사용한 랜덤화된 구성 방식을 설계한다.
• 지연 모듈과 리셋 모듈(R1, R2)을 통해 압축된 카운팅 메커니즘을 구현하여 단계 간 뉴런 발화를 동기화한다.
• 다단계 실행에서 정확한 타이밍을 보장하기 위해 큰 시간 파rameter를 가진 펄스 생성기를 사용한다.
• 지연 기반 동기화 메커니즘을 활용하여 동기화된 네트워크 솔루션을 비동기 버전으로 변환하는 분산 시뮬레이션을 구성한다.
• 랜덤화된 구성이 최적임을 증명하기 위해, Ω(min{log log 1/δ, log t})개의 뉴런에 대한 일치하는 하한선을 증명한다.

실험 결과

연구 질문

• RQ1 스파이킹 신경망에서 신경 타이머를 구현하기 위해 필요한 뉴런 수를 랜덤성이 줄일 수 있는가?
• RQ2 정확한 타이밍을 높은 확률(1−δ)로 확보하기 위해 필요한 최소 뉴런 수는 얼마인가?
• RQ3 스파이킹 신경망 맥락에서 결정론적 구성과 랜덤화된 구성 간에 증명 가능한 분리가 존재하는가?
• RQ4 임의의 엣지 지연이 존재하는 비동기 설정에서 동기화된 신경망 알고리즘을 효율적으로 시뮬레이션하는 방법은 무엇인가?
• RQ5 압축된 카운팅은 효율적이고 확장 가능한 신경망 동기화를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 랜덤화된 신경 타이머는 O(log log 1/δ)개의 스파이킹 뉴런으로 구성할 수 있으며, 실패 확률이 최대 δ 이하가 된다.
• 이 구성은 오직 한 개의 확률적 스파이킹 뉴런만을 사용하며, 나머지 뉴런은 모두 결정론적 임계값 게이트이다.
• 논문은 Ω(min{log log 1/δ, log t})개의 뉴런에 대한 일치하는 하한선을 확립하여, 이 구성이 점근적으로 최적임을 증명한다.
• 본 연구는 결정론적 및 랜덤화된 스파이킹 신경망 구성 간의 첫 번째 증명 가능한 분리를 제공하며, 랜덤화된 버전이 δ에 대해 지수적으로 더 낮은 뉴런 수를 달성함을 보여준다.
• 모든 동기화된 신경망 알고리즘을 비동기 설정에서 실행할 수 있도록 하는 일반적인 시뮬레이션 기법을 개발하였으며, 뉴런 수와 계산 시간에 대해 작은 오버헤드만을 수반한다.
• 압축된 카운팅 메커니즘은 단계 간 효율적인 동기화를 가능하게 하여, 변동하는 엣지 지연이 존재하는 상황에서도 정확한 타이밍을 보장한다.