[논문 리뷰] Neuromorphic hardware as a self-organizing computing system

Lyes Khacef, Bernard Girau외 3명|arXiv (Cornell University)|2018. 10. 30.

Advanced Memory and Neural Computing인용 수 10

한 줄 요약

이 논문은 디지털 스파iking 뉴런과 시냅스 절단을 통해 하드웨어 준수성 있는 디지털 스파이크 뉴런과 시냅스 절단을 통해 자기조직화를 가능하게 하는 뉴모르픽 하드웨어 아키텍처인 SOMA를 제안한다. 입력 데이터의 밀도에 따라 네트워크 토폴로지의 동적 재구성으로 통신 비용과 양자화 오차를 감소시키며, FPGA 기반 프로토타이핑을 통해 분산형, 탈중앙화된 시스템에서의 적응성과 효율성이 향상됨을 보여준다.

ABSTRACT

This paper presents the self-organized neuromorphic architecture named SOMA. The objective is to study neural-based self-organization in computing systems and to prove the feasibility of a self-organizing hardware structure. Considering that these properties emerge from large scale and fully connected neural maps, we will focus on the definition of a self-organizing hardware architecture based on digital spiking neurons that offer hardware efficiency. From a biological point of view, this corresponds to a combination of the so-called synaptic and structural plasticities. We intend to define computational models able to simultaneously self-organize at both computation and communication levels, and we want these models to be hardware-compliant, fault tolerant and scalable by means of a neuro-cellular structure.

연구 동기 및 목표

• 피질 유연성에 영감을 받은 자기조직화 컴퓨팅 기반을 개발하여 하드웨어에 통합된 시냅스 유연성과 구조적 유연성을 통합한다.
• 신경세포 설계 원칙을 통해 하드웨어 준수성 있는 탈중앙화 및 확장 가능한 계산을 실현한다.
• 동적 분산 시스템에서의 네트워크 토폴로지 적응을 통해 통신 오버헤드를 감소시키고 계산 효율성을 향상시킨다.
• 입력 데이터 분포에 기반해 스스로 조직화하는 재구성 가능한 뉴모르픽 시스템을 FPGA에 프로토타이핑한다.
• 낮은 상관관계를 가지는 횡방향 연결의 동적 절단을 통해 고장 내성과 확장성을 입증한다.

제안 방법

• 디지털 스파이크 뉴런을 기반으로 한 동적으로 연결된 뉴럴 맵을 사용하여 자기조직화를 모델링한다.
• 낮은 활동 상관관계와 높은 가중치 벡터 거리에 기반해 시냅스 절단을 적용하며, 절단률 $w$에 의해 지시된다.
• 활동이 잘 상관되지 않은 뉴런 간의 연결을 제거함으로써 불필요한 통신을 감소시킨다.
• 노드 간 통신을 위해 HERMES 라우팅 아키텍처를 사용하는 FPGA 기반 NoC(네트워크온칩)에서 시스템을 구현한다.
• 각 데이터 유형별로 개별 맵을 가지며, 모odal 통합을 위한 고차원 맵을 포함하는 계층적 뉴럴 맵 구조를 제안한다.
• 자기조직화 레이어는 데이터 특성에 따라 노드 할당을 조율하고 분산 방식으로 계산 레이어를 재구성한다.

실험 결과

연구 질문

• RQ1 뉴모르픽 하드웨어 시스템은 하드웨어 준수성 있는 방식으로 시냅스 절단과 구조적 유연성을 통해 자기조직화를 달성할 수 있는가?
• RQ2 동적 네트워크 토폴로지 적응은 분산 컴퓨팅 시스템에서 통신 비용을 어떻게 감소시킬 수 있는가?
• RQ3 시냅스 절단은 변화하는 데이터 분포에 대응하여 양자화 정확도와 시스템 효율성을 얼마나 향상시키는가?
• RQ4 탈중앙화된 자기조직화 메커니즘은 중심 제어 없이 작업 할당과 하드웨어 재구성을 조율할 수 있는가?
• RQ5 신경 유연성 원칙의 통합은 재구성 가능한 하드웨어에서 고장 내성과 확장성을 어떻게 향상시키는가?

주요 결과

• 제안된 절단 메커니즘이 부적절한 횡방향 연결을 성공적으로 제거하여 네트워크 효율성 향상과 통신 오버헤드 감소를 달성했다.
• 다양한 절단률에서 양자화 오차가 감소했으며, $w \neq 0$ 조건에서 정적 구성 대비 측정 가능한 성능 향상이 나타났다.
• 시스템은 무작위 데이터에 대해 동적 적응을 보였으며, 토폴로지 재구성으로 들어오는 자극의 확률 밀도 함수를 효과적으로 맞추었다.
• 자기조직화 레이어는 노드의 탈중앙화된 조율을 가능하게 하여 들어오는 데이터를 적절한 처리 단위에 자동 할당할 수 있도록 했다.
• 초기 결과는 낮은 뉴런 상관관계와 높은 가중치 벡터 거리 기반 절단이 비정보성 시냅스를 효과적으로 식별하고 제거함을 확인했다.
• 세포 기반 계산과 신경 자기조직화 원칙을 융합함으로써 확장 가능하고 고장 내성이며 분산된 계산을 달성했다.