[논문 리뷰] On the Algorithmic Power of Spiking Neural Networks

Hitron, Yael, Lynch, Nancy외 2명|arXiv (Cornell University)|2018. 03. 28.

Advanced Memory and Neural Computing참고 문헌 46인용 수 12

한 줄 요약

이 논문은 이중 시각 역학 모델을 도입하여 스파iking 신경망(SNNs)이 다항 시간 내에 이차 및 ℓ1 최소화 문제를 해결할 수 있음을 엄밀히 증명한다. SNN이 최적 해에 다항 수렴 한계를 갖는다는 것을 증명하며, 일반 조건 하에서 희박한 해(최소 ℓ1 노름)를 선호함을 보이고, SNN을 ℓ1 최소화를 위한 새로운 원시-이중 알고리즘으로 프레임링하여 이론적 보장을 제공한다.

ABSTRACT

Spiking Neural Networks (SNN) are mathematical models in neuroscience to describe the dynamics among a set of neurons that interact with each other by firing instantaneous signals, a.k.a., spikes. Interestingly, a recent advance in neuroscience [Barrett-Denève-Machens, NIPS 2013] showed that the neurons' firing rate, i.e., the average number of spikes fired per unit of time, can be characterized by the optimal solution of a quadratic program defined by the parameters of the dynamics. This indicated that SNN potentially has the computational power to solve non-trivial quadratic programs. However, the results were justified empirically without rigorous analysis. We put this into the context of natural algorithms and aim to investigate the algorithmic power of SNN. Especially, we emphasize on giving rigorous asymptotic analysis on the performance of SNN in solving optimization problems. To enforce a theoretical study, we first identify a simplified SNN model that is tractable for analysis. Next, we confirm the empirical observation in the work of Barrett et al. by giving an upper bound on the convergence rate of SNN in solving the quadratic program. Further, we observe that in the case where there are infinitely many optimal solutions, SNN tends to converge to the one with smaller l1 norm. We give an affirmative answer to our finding by showing that SNN can solve the l1 minimization problem under some regular conditions. Our main technical insight is a dual view of the SNN dynamics, under which SNN can be viewed as a new natural primal-dual algorithm for the l1 minimization problem. We believe that the dual view is of independent interest and may potentially find interesting interpretation in neuroscience.

연구 동기 및 목표

• 스파iking 신경망(SNNs)의 최적화 문제 해결 능력에 대한 엄밀한 분석을 수행한다.
• Barrett 등(2013)의 경험적 관찰을 확인하고 형식화한다: SNN의 화성 빈도가 이차 프로그래밍을 해결한다.
• SNN이 ℓ1 최소화 문제를 효율적으로 해결할 수 있는지, 그리고 어떤 조건에서 가능한지를 조사한다.
• SNN 역학의 이중 공간 해석을 통해 ℓ1 최소화를 위한 새로운 원시-이중 알고리즘으로서의 SNN을 수립한다.
• SNN이 볼록 최적화 문제를 해결할 때 다항 시간 수렴 한계를 명시적으로 제공한다.

제안 방법

• 이론적 분석을 위해 정적 연결성과 입력 충전을 갖춘 단순화된 이론적 SNN 모델을 제안한다.
• SNN 역학의 이중 시각을 도입하여 시스템을 이중 공간에서 작동하는 원시-이중 알고리즘으로 해석한다.
• 이deal 결합과 편미분 기법을 사용하여 ℓ2 잔차 오차를 제한하고, 강력한 이중성에 의해 ℓ1 오차와 연결한다.
• 이중 변수의 역학을 제어하기 위해 이중 SNN 설정을 적용하여 최적 해로의 수렴을 보장한다.
• 디랙 델타 함수와 임계값 화성 규칙을 사용하여 스파이크 트레인 모델을 정의하여 뉴런의 화성 행동을 기술한다.
• 미분 방정식과 리아푸노프 유사 분석을 사용하여 수렴 속도를 유도하고, 다항 시간 보장을 수립한다.

실험 결과

연구 질문

• RQ1 SNN은 증명 가능한 다항 시간 수렴 속도로 이차 프로그래밍의 최적 해로 수렴할 수 있는가?
• RQ2 여러 개의 최적 해가 존재할 경우, SNN 역학은 일반 조건 하에서 최소 ℓ1 노름을 갖는 해로 수렴하는가?
• RQ3 SNN 역학은 ℓ1 최소화를 위한 원시-이중 알고리즘으로 해석될 수 있는가?
• RQ4 SNN이 최적화 문제를 해결할 때 명시적인 수렴 한계는 무엇인가?
• RQ5 SNN 역학의 이중 시각은 그 알고리즘적 능력에 대한 엄밀한 분석을 어떻게 가능하게 하는가?

주요 결과

• SNN의 화성 빈도는 다항 시간 수렴 한계를 갖는다. 이는 해당 이차 프로그래밍의 최적 해로 수렴한다.
• 여러 개의 최적 해가 존재할 경우, 일반 조건 하에서 SNN은 최소 ℓ1 노름을 갖는 해로 수렴한다.
• SNN 역학은 새로운 ℓ1 최소화 원시-이중 알고리즘으로 해석될 수 있으며, 이중 시각은 이론적 통찰을 제공한다.
• SNN 해의 ℓ1 오차는 ℓ2 잔차 오차에 의해 제한된 속도로 최적 값으로 수렴하며, 최소 고유값과 문제 차원에 따라 달라지는 요소를 포함한다.
• 비음수 최소 제곱 문제의 경우, SNN은 1/ϵ과 문제 매개수에 대해 다항 시간 내에 ϵ-근사치를 달성하며, 수렴 시간의 하한은 t ≥ Ω(√λmax·n / (ϵ·λmin·∥b∥2))로 제시된다.
• 이중 SNN 역학은 유한한 이중 다각형 내에 머물러 안정성을 확보하고, 이중 공간을 통한 오차 분석을 가능하게 한다.