[논문 리뷰] Methods for applying the Neural Engineering Framework to neuromorphic hardware

Aaron R. Voelker, Chris Eliasmith|arXiv (Cornell University)|2017. 08. 27.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 신경공학 프레임워크(NEF)를 사용하여 이종적이고 고차수의 시냅스 동역학 및 축삭 전도 지연을 고려한 뉴모르픽 하드웨어에서 선형 및 비선형 동역학 시스템을 구현하는 방법을 제시한다. 분석적 해를 유도하고 복합적인 시냅스 입력을 디코딩된 도함수의 선형 조합으로 활용함으로써, 비이상적인 하드웨어 특성에도 불구하고 정확한 신경 표현을 유지하면서도 효율적이고 인수분해된 가중치 행렬을 가능하게 한다.

ABSTRACT

We review our current software tools and theoretical methods for applying the Neural Engineering Framework to state-of-the-art neuromorphic hardware. These methods can be used to implement linear and nonlinear dynamical systems that exploit axonal transmission time-delays, and to fully account for nonideal mixed-analog-digital synapses that exhibit higher-order dynamics with heterogeneous time-constants. This summarizes earlier versions of these methods that have been discussed in a more biological context (Voelker & Eliasmith, 2017) or regarding a specific neuromorphic architecture (Voelker et al., 2017).

연구 동기 및 목표

• 기존 알고리즘과 뉴모르픽 시스템 내 연속적이고 스파ike 기반 처리 사이의 이론적 격차를 메우기 위해.
• 비이상적이고 혼합 아날로그-디지털 시냅스를 갖춘 최신 뉴모르픽 하드웨어에 NEF를 체계적으로 적용하기 위한 방법 개발을 위해.
• 반복적 스파iking 신경망에서 이종적인 시냅스 시간 상수와 축삭 전도 지연을 고려하기 위해.
• 복잡한 시냅스 모델에도 불구하고 인수분해된 가중치 행렬을 유지함으로써 뉴모르픽 하드웨어에서 동역학 시스템의 효율적 구현을 가능하게 하기 위해.
• 고차수 시냅스 동역학과 시간 지연을 통합함으로써 NEF의 적용 가능성을 실제 뉴모르픽 플랫폼으로 확장하기 위해.

제안 방법

• 입력 신호가 원하는 신경 출력으로 매핑되는 전이 함수를 유도함으로써, NEF의 원칙 III를 고차수 선형 시냅스 모델로 일반화한다.
• 라플라스 변환과 상태공간 표현을 사용하여 시냅스 동역학을 모델링함으로써 인과적이고 물리적으로 현실적인 시스템 행동을 보장한다.
• 각 시냅스에 대해 필요한 입력 신호를 상태 도함수의 선형 조합으로 유도함으로써, 시냅스 후 전류에 대한 정밀한 제어를 가능하게 한다.
• 핵심 혁신은 상태 도함수를 위한 공통된 디코더 세트를 사용하여, 이러한 디코더의 선형 조합을 통해 복잡한 시냅스 입력을 재구성할 수 있도록 한다.
• 오직 k+1개의 성분(여기서 k는 최고 차수 도함수의 차수)만 디코딩함으로써 인수분해된 가중치 행렬을 활용함으로써, 계산 비용을 O(n²)에서 O(kn)으로 감소시킨다.
• 시간 지연 동역학을 다루기 위해 라멘트-와이 함수를 사용한 분석적 해를 유도함으로써, 시스템 진화 중에 표현 방식을 민첩하게 변경할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 뉴모르픽 하드웨어에서 이종적인 시간 상수를 갖는 고차수 시냅스 동역학을 모델링하기 위해 NEF를 어떻게 확장할 수 있는가?
• RQ2 NEF를 사용하여 스파iking 신경망에서 축삭 전도 지연을 정확히 모델링하고 활용할 수 있는가?
• RQ3 복잡한 시냅스 동역학을 고려할 때 신경망 구현의 계산 효율성을 어떻게 유지할 수 있는가?
• RQ4 시냅스의 비이상성은 스파iking 네트워크 내 동역학 시스템 구현의 정확성에 어떤 영향을 미치는가?
• RQ5 신경 표현 차원의 변화를 허용하면서도 정확한 시스템 동역학을 유지하기 위해 NEF를 일반화할 수 있는가?

주요 결과

• 이 방법은 이종적이고 고차수의 시냅스 동역학을 완전히 고려함으로써, 뉴모르픽 하드웨어에서 선형 및 비선형 동역학 시스템의 정확한 구현을 가능하게 한다.
• 상태 도함수를 위한 공통 디코더 사용으로 최적화 문제의 수가 O(n)에서 O(k)로 감소한다. 여기서 k는 최대 도함수 차수이다.
• 이 방법은 복잡한 시냅스 모델에도 불구하고 인수분해된 가중치 행렬을 유지함으로써, 공간 및 시간 효율성을 O(n) 수준으로 유지한다.
• 라멘트-와이 함수를 사용한 분석적 해는 시스템 진화 중에 표현 변경을 민첩하게 가능하게 하며, 특히 시간 지연이 있는 시스템에서 유용하다.
• 이 방법은 비이상적이고 혼합 아날로그-디지털 시냅스를 사용할 때에도 네트워크의 입력-출력 전이 함수가 원하는 동역학과 일치하도록 보장한다.
• 패드에 근사식을 사용하여 시간 지연을 표준 상태공간 형태로 변환함으로써, 수렴 반경 내에서 내부 표현을 유지한다.