[논문 리뷰] Functional Specification of the RAVENS Neuroprocessor

Adam Z. Foshie, James S. Plank외 2명|arXiv (Cornell University)|2023. 07. 27.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 FPGA, 마이크로컨트롤러, CMOS를 포함한 다양한 플랫폼에서 스파iking 신경망을 위한 재구성 가능한 뉴로프로세서인 RAVENS의 기능 사양을 제시한다. 뉴런 및 시냅스 동역학, 반복기, STDP 유연성, 하드웨어 상수를 상세히 기술하여 통합 소프트웨어 프레임워크를 통해 모든 RAVENS 버전에서 일관된 구현과 시뮬레이션을 가능하게 한다.

ABSTRACT

RAVENS is a neuroprocessor that has been developed by the TENNLab research group at the University of Tennessee. Its main focus has been as a vehicle for chip design with memristive elements; however it has also been the vehicle for all-digital CMOS development, plus it has implementations on FPGA's, microcontrollers and software simulation. The software simulation is supported by the TENNLab neuromorphic software framework so that researchers may develop RAVENS solutions for a variety of neuromorphic computing applications. This document provides a functional specification of RAVENS that should apply to all implementations of the RAVENS neuroprocessor.

연구 동기 및 목표

• 모든 구현 방식(FPGA, 마이크로컨트롤러, CMOS, 소프트웨어 시뮬레이션)에 적용 가능한 RAVENS 뉴로프로세서의 통합 기능 사양을 정의하기 위해.
• 표준화된 하드웨어 상수와 네트워크 설정을 통해 스파킹 신경망 애플리케이션의 일관된 설계 및 구현을 가능하게 하기 위해.
• 다양한 뉴로모픽 하드웨어 플랫폼과 호환되는 이식 가능하고 확장 가능한 프레임워크를 통해 뉴로모픽 컴퓨팅 연구를 지원하기 위해.
• 신경세포 행동, 시냅스 동역학, 그리고 유연성 규칙(예: STDP)을 체계화하여 신뢰성 있고 재현 가능한 뉴로프로세서 운영을 보장하기 위해.
• 뉴로모픽 스타터 킷 및 임베디드 뉴로모픽 시스템의 향후 하드웨어-소프트웨어 공동 설계를 위한 기반을 마련하기 위해.

제안 방법

• 구현 시점에 고정되는 하드웨어 상수(예: 최대 시냅스 지연, 비트 폭 등)를 JSON 또는 HDL 파일을 통해 정의하며, 이는 자원 사용량과 성능에 영향을 준다.
• 네트워크 설정—뉴런 설정(임계값, 휴식 전위), 시냅스 설정(가중치, 유연성 테이블), 총괄 설정—을 JSON으로 정의하여 네트워크 행동을 구성한다.
• 이산 적분 사이클을 갖는 뉴런을 구현: 누적 레지스터를 임계값과 비교; 초과 시, 스파이크 발생을 유도하고, 이는 스파이크 전파 및 잠시 동안의 반복기 상태로 이어진다.
• 절대 반복기(입력 처리 불가)와 상대 반복기(입력 민감도 감소)의 두 가지 반복기를 모델링하며, 정해진 기간 후 표준 동작으로 복구된다.
• 사전- 및 후순서 스파이크 타이밍에 따라 동적으로 시냅스 가중치를 조정하기 위해 구성 가능한 테이블을 사용해 STDP(Spike-Timing-Dependent Plasticity)를 적용한다.
• 시간 단위별로 네트워크 활동을 단계별로 시뮬레이션하며, 스파이크 전파, 전하 축적, 가중치 변화를 추적하며, 스파이크가 '비행 중'일 경우에도 지원한다.

Figure 1: Simple integrate-and-fire network.

실험 결과

연구 질문

• RQ1 어떻게 하면 다양한 구현 방식(FPGA, 마이크로컨트롤러, CMOS, 소프트웨어 시뮬레이션)에서 일관된 동작을 보장할 수 있는 뉴로프로세서 아키텍처를 기능적으로 사양화할 수 있는가?
• RQ2 하드웨어 상수가 RAVENS 구현의 자원 소비, 성능, 확장성에 미치는 영향은 무엇인가?
• RQ3 절대 및 상대 반복기가 스파킹 신경망의 뉴런 반응과 네트워크 동역학에 미치는 영향은 무엇인가?
• RQ4 스파이크가 '비행 중'일 때 STDP 유연성이 어떻게 작동하며, 이는 시냅스 가중치 변화에 어떤 영향을 미치는가?
• RQ5 통합 소프트웨어 프레임워크를 통해 RAVENS 기반의 뉴로모픽 애플리케이션을 다양한 플랫폼에서 이식 가능하게 개발하고 시뮬레이션할 수 있는가?

주요 결과

• RAVENS는 하드웨어 상수와 네트워크 설정 기반의 표준화된 기능 사양 덕분에 모든 구현 방식에서 일관된 동작을 지원한다.
• 최대 시냅스 지연과 같은 하드웨어 상수는 자원 소비, 처리 시간, 전력 소모에 직접적인 영향을 미치며, 네트워크 크기와 성능 간의 상충 관계를 반영한다.
• 뉴런은 절대 반복기(입력 처리 불가)와 상대 반복기(민감도 감소)의 두 가지 반복기를 나타내며, 정해진 기간 후 표준 동작으로 복구된다.
• STDP 유연성은 스파이크 타이밍에 따라 시냅스 가중치를 동적으로 수정하며, 스파이크가 '비행 중'이더라도 타이밍 테이블 기반으로 정확한 가중치 업데이트가 이루어진다.
• 시뮬레이션에서 반복기 기간 동안 반복적인 스파이크로 인해 시냅스 가중치가 0으로 감소할 수 있으며(예: 初기 가중치 4에서 0으로), 이는 향후 더 이상의 발화를 방지한다.
• TENNLab 소프트웨어 프레임워크에 통합된 RAVENS 시뮬레이터를 통해 다단계 스파이크 전파 및 가중치 변화를 포함한 복잡한 네트워크 동작을 정확하고 재현 가능한 방식으로 시뮬레이션할 수 있다.

Figure 2: A network set so that $Main$ fires every timestep when turned “on.”