[논문 리뷰] Porting HTM Models to the Heidelberg Neuromorphic Computing Platform

Sebastian Billaudelle, Subutai Ahmad|arXiv (Cornell University)|2015. 05. 08.

Advanced Memory and Neural Computing참고 문헌 8인용 수 13

한 줄 요약

이 논문은 아드레날린성 동역학(AdEx) 기반의 스파iking 뉴런 모델을 사용하여 헤이델베르크 뉴로모픽 컴퓨팅 플랫폼(HMF)에 계층적 시간 메모리(HTM) 모델—특히 공간 풀링과 시간 메모리—를 처음으로 이식한 것이다. 연구는 뉴로모픽 하드웨어 시뮬레이션에서 핵심 HTM 기능이 유지됨을 보여주지만, 표준 스파이크 타이밍 의존 학습(STDP)의 한계로 인해 전면적인 가소성 규칙의 구현은 여전히 과제로 남아 있음을 밝혔다.

ABSTRACT

Hierarchical Temporal Memory (HTM) is a computational theory of machine intelligence based on a detailed study of the neocortex. The Heidelberg Neuromorphic Computing Platform, developed as part of the Human Brain Project (HBP), is a mixed-signal (analog and digital) large-scale platform for modeling networks of spiking neurons. In this paper we present the first effort in porting HTM networks to this platform. We describe a framework for simulating key HTM operations using spiking network models. We then describe specific spatial pooling and temporal memory implementations, as well as simulations demonstrating that the fundamental properties are maintained. We discuss issues in implementing the full set of plasticity rules using Spike-Timing Dependent Plasticity (STDP), and rough place and route calculations. Although further work is required, our initial studies indicate that it should be possible to run large-scale HTM networks (including plasticity rules) efficiently on the Heidelberg platform. More generally the exercise of porting high level HTM algorithms to biophysical neuron models promises to be a fruitful area of investigation for future studies.

연구 동기 및 목표

• 생물학적으로 영감을 받은 스파이크 뉴런 모델을 사용하여 헤이델베르크 뉴로모픽 컴퓨팅 플랫폼(HMF)에서 핵심 HTM 알고리즘—공간 풀링과 시간 메모리—를 구현하고 검증하는 것.
• 접속성, 라우팅, 자원 제약 조건을 고려하여 대규모 HTM 네트워크를 HMF의 혼합 신호 뉴로모픽 하드웨어에 매핑할 수 있는지의 가능성을 평가하는 것.
• 플랫폼의 내장된 스파이크 타이밍 의존 학습(STDP) 메커니즘을 사용하여 HTM의 전면적인 학습 규칙을 구현하는 데 직면한 과제를 조사하는 것.
• 트anz이스터 불일치 및 하드웨어 유도 변동성과 같은 요소들에 의한 영향을 고려하여 네트워크의 내성에 대한 내구성 평가 및 校정 및 내성 전략 탐색.

제안 방법

• HMF 플랫폼에서 동적 시뮬레이션을 통해 적분-화이어 AdEx 뉴런을 사용하여 HTM 동작을 시뮬레이션할 수 있는 프레임워크를 개발하였다.
• 열린 활동이 약 2%의 희박성으로 제한되고 열의 폭발적 활동이 유지되도록, 공간 풀러와 시간 메모리를 스파이크 뉴럴 네트워크 모델로 구현하였다.
• 하이브리드 혼합 신호 아키텍처를 적용: 계산은 아날로그 뉴런 회로를, 통신은 디지털 인터커넥트를 사용하여 HICANN 웨이퍼 스케일 칩을 활용하였다.
• 표준 STDP로는 HTM 학습 규칙을 재현할 수 없었기 때문에, 맞춤형 가소성 규칙의 구현을 위해 PPU(처리 및 프로그래밍 유닛) 마이크로프로세서를 사용하였다.
• 하드웨어 변동성과 공정 유도 불일치에 대한 저항성을 테스트하기 위해 랜덤화된 파rameter를 사용한 몬테카를로 시뮬레이션을 수행하였다.
• 네트워크 모델을 HMF 웨이퍼 토폴로지에 투영하기 위해 매핑 및 라우팅 분석을 수행하였으며, 최대 1024개의 열을 포함한 네트워크에 대한 시냅스 손실과 확장성 추정을 수행하였다.

실험 결과

연구 질문

• RQ1 HMF 플랫폼에서 스파이크 뉴런 모델을 사용하여 핵심 HTM 기능—공간 풀링과 시간 메모리—를 정확하게 에뮬레이트할 수 있는가?
• RQ2 HMF의 내장된 STDP 메커니즘이 HTM의 학습 규칙, 특히 원추성 시냅스 연결과 예측 상태 전이에 대해 어느 정도 재현할 수 있는가?
• RQ3 특히 시냅스 연결성, 뉴런 수, 웨이퍼 수준의 라우팅 측면에서 대규모 HTM 네트워크를 매핑하는 데 있어 하드웨어적 제약 조건은 무엇인가?
• RQ4 트랜지스터 불일치 및 공정 변동성과 같은 하드웨어 유도 변동성에 대해 시뮬레이션된 HTM 네트워크는 얼마나 내구성이 있는가?
• RQ5 PPU는 HMF의 가소성 능력을 확장하여 HTM 전용 학습 알고리즘을 지원하는 데 어떤 역할을 하는가?

주요 결과

• AdEx 스파이크 뉴런 모델을 사용하여 공간 풀러와 시간 메모리 기능을 성공적으로 에뮬레이트하였으며, 희박한 열 활동(~2% 희박성), 열의 폭발적 활동, 예측 상태 전이와 같은 핵심 특성을 유지하였다.
• 시뮬레이션 결과, HMF는 약 6개의 웨이퍼를 통해 최소한의 유용한 HTM 네트워크(1024개의 열, 열당 8개의 세포)를 지원할 수 있었으며, 약 100만 개의 시냅스 막막 회로와 세포당 약 32,000개의afferent 연결을 포함하였다.
• 모든-대-모든 횡방향 연결을 가정할 경우, 시간 메모리 네트워크는 하나의 웨이퍼에 시냅스 손실 없이 매핑될 수 있었다.
• 표준 STDP로는 HTM의 전면적인 가소성 규칙을 재현할 수 없었으며, 정확한 학습 규칙 매핑을 위해 PPU 마이크로프로세서를 통한 맞춤형 구현이 필수적이었다.
• 랜덤화된 파rameter를 사용한 몬테카를로 시뮬레이션을 통한 내구성 테스트 결과, 네트워크 모델이 공간적 및 시험 간 변동성에 견딜 수 있음을 확인하였으며, 이는 아날로그 뉴로모픽 기반에서의 신뢰성을 뒷받침하였다.
• 플랫폼의 향후 다세포 뉴런 지원이 HTM의 생물학적 시냅스 막 구조 모델에 더 가까이 맞출 수 있도록 향상시킬 것으로 기대되며, 원본 HTM 화이트페이퍼와의 더 가까운 일치를 가능하게 할 것이다.