[논문 리뷰] A theoretical basis for efficient computations with noisy spiking neurons

Zeno Jonke, Stefan Habenschuss외 1명|arXiv (Cornell University)|2014. 12. 18.

Neural dynamics and brain function참고 문헌 8인용 수 4

한 줄 요약

이 논문은 스파이크 정렬과 노이즈를 계산 자원으로 활용하여 노이즈가 있는 스파이크 신경망을 이용한 효율적 계산을 위한 새로운 이론적 프레임워크를 제안한다. 3-SAT과 같은 어려운 제약 만족 문제를 해결하는 데 기존 방법보다 뚜렷한 우수성을 보이며, 내부 온도 제어 메커니즘과 WTA 및 OR 모티프를 포함한 모듈러 네트워크 설계를 통해 높은 성능을 달성한다.

ABSTRACT

Network of neurons in the brain apply - unlike processors in our current generation of computer hardware - an event-based processing strategy, where short pulses (spikes) are emitted sparsely by neurons to signal the occurrence of an event at a particular point in time. Such spike-based computations promise to be substantially more power-efficient than traditional clocked processing schemes. However it turned out to be surprisingly difficult to design networks of spiking neurons that are able to carry out demanding computations. We present here a new theoretical framework for organizing computations of networks of spiking neurons. In particular, we show that a suitable design enables them to solve hard constraint satisfaction problems from the domains of planning - optimization and verification - logical inference. The underlying design principles employ noise as a computational resource. Nevertheless the timing of spikes (rather than just spike rates) plays an essential role in the resulting computations. Furthermore, one can demonstrate for the Traveling Salesman Problem a surprising computational advantage of networks of spiking neurons compared with traditional artificial neural networks and Gibbs sampling. The identification of such advantage has been a well-known open problem.

연구 동기 및 목표

• 전역 클록 없이도 작동하는 계산 능력이 뛰어나고 에너지 효율적인 스파이크 기반 신경망을 위한 이론적 기반을 마련하는 것.
• 스파이크 정렬과 노이즈가 스파이크 네트워크에서 계산 자원으로 어떻게 활용될 수 있는지 보여주는 것.
• 기존의 인공신경망이나 지브스 샘플링보다 3-SAT과 같은 어려운 제약 만족 문제를 더 효율적으로 해결하는 것.
• 스토케스틱 최적화 동안 검색 행동을 동적으로 조정할 수 있는 내부 온도 제어 기능을 갖춘 네트워크 아키텍처를 설계하는 것.
• WTA 및 OR 모티프와 보조 뉴런을 사용한 모듈러 회로 모티프를 통해 NP-난이도 문제에 대해 확장 가능한 선형 크기의 네트워크를 가능하게 하는 것.

제안 방법

• 네트워크는 시간 창 τ 내에서 각 스파이크가 변수 할당에 해당하는 스파이크 패턴을 통해 문제 상태를 인코딩한다.
• 승자독점(Winner-Take-All, WTA) 및 OR 게이트와 같은 모듈러 회로 모티프는 보조 뉴런을 사용하여 에너지 함수 E(x)를 형상화하고 다중 값 변수를 표현한다.
• 노이즈는 스토케스틱 검색을 가능하게 하여 고에너지 장벽을 일시적으로 뛰어넘을 수 있도록 한다.
• 내부 온도 제어는 전역 뉴런을 통해 달성되며, 이는 어떤 클라우즈도 위반되지 않았을 때 활성화되고, 위반된 클라우즈가 감지되면 비활성화된다.
• 온도 제어는 두 개의 다른 가중치(w_OR1 = 2.5, w_OR2 = 10)를 가진 OR 모티프를 통해 이루어지며, 탐색과 이용을 위한 고온 및 저온 단계를 제공한다.
• N개의 변수와 M개의 클라우즈에 대해 네트워크는 3N + 2M개의 뉴런과 4N + 13M개의 연결을 사용하며, 온도 제어에는 추가로 3M + 1개의 뉴런과 2N + 20M개의 시냅스가 필요하다.

실험 결과

연구 질문

• RQ1 스파이크 정렬과 노이즈만을 사용하여 스파이크 기반 신경망이 3-SAT과 같은 어려운 제약 만족 문제를 효율적으로 해결할 수 있는가?
• RQ2 노이즈를 스파이크 네트워크에서 장애 요소가 아니라 체계적으로 계산 자원으로 활용할 수 있는가?
• RQ3 스파이크 네트워크에서 전역 클록 없이도 효율적인 스토케스틱 검색을 가능하게 하는 아키텍처 원리는 무엇인가?
• RQ4 스파이크 네트워크에 내부 온도 제어 메커니즘이 구현되어 탐색과 이용을 동적으로 균형 잡을 수 있는가?
• RQ5 최적화 과제에서 스파이크 기반 네트워크는 지브스 샘플링과 기존 인공신경망보다 어떤 계산적 우위를 가질 수 있는가?

주요 결과

• 제안된 네트워크 아키텍처는 만족된 클라우즈 수 대비 총 클라우즈 수의 비율을 높게 유지하여 시뮬레이션에서 3-SAT 문제를 성공적으로 해결하였다.
• 586개의 뉴런(50개의 변수, 218개의 클라우즈)을 가진 네트워크는 스토케스틱 역학을 통해 유효한 해에 효과적으로 수렴하였다.
• 내부 온도 제어 메커니즘은 위반된 클라우즈가 감지될 경우 전역 뉴런을 자동으로 비활성화하여 재구성의 필요성을 알린다.
• 이 방법은 3-SAT과 여행하는 판매원 문제를 해결하는 데 있어 지브스 샘플링과 표준 인공신경망보다 계산적 우위를 확보하였다.
• 뉴런 수와 시냅스 수는 문제 크기에 따라 선형적으로 증가하므로, 큰 인스턴스에 대해서도 확장 가능한 아키텍처이다.
• 다른 OR 모티프 가중치(2.5 대비 10)의 사용은 고온 및 저온 영역을 명확히 분리하여 동적 검색 제어에 있어 핵심적인 역할을 한다.