[논문 리뷰] Digital Multiplier-less Event-Driven Spiking Neural Network Architecture for Learning a Context-Dependent Task

Hajar Asgari, Babak Mazloom‐Nezhad Maybodi외 2명|arXiv (Cornell University)|2019. 06. 24.

Advanced Memory and Neural Computing참고 문헌 45인용 수 5

한 줄 요약

이 논문은 강화학습(Reinforcement Learning, RL)을 통해 맥락에 따라 달라지는 자극-반응 연관성을 학습하는 FPGA에 구현된 디지털, 다중계수 없는 이벤트 기반 스파iking 신경망(SNN) 아키텍처를 제시한다. 다중계수를 제거하고 STDP 기반의 가소성과 상태기계 기반의 LIF 뉴런 모델을 사용함으로써 하드웨어 효율성을 확보하였으며, 100회 이내의 시행에서 계산 모델과 생물학적 실험의 행동을 성공적으로 재현하였다.

ABSTRACT

Neuromorphic engineers aim to develop event-based spiking neural networks (SNNs) in hardware. These SNNs closer resemble dynamics of biological neurons than todays' artificial neural networks and achieve higher efficiency thanks to the event-based, asynchronous nature of processing. Learning in SNNs is more challenging, however. Since conventional supervised learning methods cannot be ported on SNNs due to the non-differentiable event-based nature of their activation, learning in SNNs is currently an active research topic. Reinforcement learning (RL) is particularly promising method for neuromorphic implementation, especially in the field of autonomous agents' control, and is in focus of this work. In particular, in this paper we propose a new digital multiplier-less hardware implementation of an SNN. We show how this network can learn stimulus-response associations in a context-dependent task through a RL mechanism. The task is inspired by biological experiments used to study RL in animals. The architecture is described using the standard digital design flow and uses power- and space-efficient cores. We implement the behavioral experiments using a robot, to show that learning in hardware also works in a closed sensorimotor loop.

연구 동기 및 목표

• 자율 시스템에서 뉴모르픽 컴퓨팅에 적합한 저전력, 면적 효율적인 디지털 SNN 하드웨어 아키텍처를 개발하기 위해.
• 계산적으로 비용이 많이 드는 다중계수나 미분 가능 활성화 함수에 의존하지 않고 SNN에서 강화학습을 가능하게 하기 위해.
• 스파iking 타이밍에 의존하는 가소성(Spike-Timing-Dependent Plasticity, STDP)과 같은 생물학적으로 타당한 학습 메커니즘을 디지털, 이벤트 기반 프레임워크에 구현하기 위해.
• 실세계 로봇 센서모터 루프에서 하드웨어 구현을 검증하여 맥락에 따라 달라지는 연관성을 온라인으로 학습하는 능력을 입증하기 위해.
• 생산 모델의 동물 강화학습 행동과 물리적 뉴모르픽 하드웨어 시스템 간 격차를 메우기 위해.

제안 방법

• 지수 및 곱셈 연산을 피하기 위해 상태기계도 접근법을 사용한 다중계수 없는 LIF 뉴런 모델 설계.
• 포화를 방지하고 안정적인 가중치 갱신을 가능하게 하는 단순화된 고정밀도 STDP 기반 시냅스 가소성 규칙 구현.
• 은닉층 및 출력층에서 승자독점(Winner-Take-All, WTA) 메커니즘에 임계값 마진을 도입하여 승자 선택 정확도 향상.
• 재구성 가능하고 효율적인 표준 디지털 설계 플로우를 사용하여 SNN 아키텍처를 FPGA(Xilinx Kintex-7)에 매핑.
• 블링킹 LED를 맥락 자극으로 사용하여 FPGA 기반 SNN을 로봇 에이전트(Pushbot)와 폐쇄 루프 센서모터 시스템에 연결.
• 자극을 스파이크 타이밍에 인코딩하고 보상 신호를 통해 강화학습 업데이트 규칙을 이용해 시냅스 가중치를 조절.

실험 결과

연구 질문

• RQ1 다중계수 없는 디지털 SNN 아키텍처가 맥락에 따라 달라지는 작업을 위한 강화학습의 효율적인 하드웨어 구현을 달성할 수 있는가?
• RQ2 학습 성능 및 동역학 측면에서 제안된 하드웨어 구현은 계산 모델과 생물학적 실험과 비교해 어떻게 다른가?
• RQ3 이벤트 기반 처리와 STDP 학습을 갖춘 디지털 SNN은 어떤 정도까지 맥락에 따라 달라지는 작업에서 동물 행동을 재현할 수 있는가?
• RQ4 수렴성과 안정성에 영향을 주는 주요 설계 파rameter(예: 비트 폭, 초기 가중치 무작위성, LTP/LTD 값, 임계값 마진)는 무엇인가?
• RQ5 실제 로봇 시스템이 이벤트 기반 스파이크 신호와 강화 피드백만으로 자극-맥락 연관성을 성공적으로 학습할 수 있는가?

주요 결과

• 하드웨어로 구현된 SNN은 100회 이내의 시행에서 맥락에 따라 달라지는 작업을 성공적으로 학습하였으며, 계산 모델과 생물학적 실험 결과와 일치하였다.
• 모든 수치적 값에 대해 32비트 고정소수점 표현만을 사용하여 안정성 확보 및 오버플로우 방지에 기여하였다.
• WTA 네트워크에 임계값 마진을 도입함으로써 승자 선택 정밀도가 향상되었고, 이는 신뢰할 수 있는 학습 결과에 기여하였다.
• 충분한 비트 해상도를 갖춘 무작위 초기화된 시냅스 가중치는 네트워크의 수렴 능력 향상과 국소 최소값 회피에 기여하였다.
• 로봇 실험을 통해 성공적인 온라인 학습이 이루어졌으며, Pushbot은 자극의 높이(맥락)에 따라 자극을 구분하고 항목의 위치와 무관하게 올바른 행동을 학습하였다.
• 다중계수 없는 설계는 기존의 SNN 구현 대비 면적과 전력 소모를 크게 감소시켜 효율적인 FPGA 배포를 가능케 하였다.