[논문 리뷰] Spiking Hyperdimensional Network: Neuromorphic Models Integrated with Memory-Inspired Framework

Zhuowen Zou, Haleh Alimohamadi외 3명|arXiv (Cornell University)|2021. 10. 01.

Ferroelectric and Negative Capacitance Devices참고 문헌 65인용 수 12

한 줄 요약

SpikeHD는 이벤트 기반 데이터에서 시간적·공간적 특징을 추출하는 데 SNN을 사용하고 고차원 추상 표현 및 분류에 HDC를 사용함으로써 스파iking 신경망(SNNs)과 히퍼차원 컴퓨팅(HDC)을 본질적으로 통합한 최초의 프레임워크이다. 이 이중 단계 처리 방식은 학습 능력, 노이즈에 대한 강건성, 모델 효율성을 향상시키며, 네트워크 크기와 파라미터 수를 줄이면서도 벤치마크 작업에서 높은 정확도를 유지한다.

ABSTRACT

Recently, brain-inspired computing models have shown great potential to outperform today's deep learning solutions in terms of robustness and energy efficiency. Particularly, Spiking Neural Networks (SNNs) and HyperDimensional Computing (HDC) have shown promising results in enabling efficient and robust cognitive learning. Despite the success, these two brain-inspired models have different strengths. While SNN mimics the physical properties of the human brain, HDC models the brain on a more abstract and functional level. Their design philosophies demonstrate complementary patterns that motivate their combination. With the help of the classical psychological model on memory, we propose SpikeHD, the first framework that fundamentally combines Spiking neural network and hyperdimensional computing. SpikeHD generates a scalable and strong cognitive learning system that better mimics brain functionality. SpikeHD exploits spiking neural networks to extract low-level features by preserving the spatial and temporal correlation of raw event-based spike data. Then, it utilizes HDC to operate over SNN output by mapping the signal into high-dimensional space, learning the abstract information, and classifying the data. Our extensive evaluation on a set of benchmark classification problems shows that SpikeHD provides the following benefit compared to SNN architecture: (1) significantly enhance learning capability by exploiting two-stage information processing, (2) enables substantial robustness to noise and failure, and (3) reduces the network size and required parameters to learn complex information.

연구 동기 및 목표

• 실시간 임베디드 응용 프로그램을 위한 SNN의 강건성, 확장성, 인지 기능성 부족 문제를 해결하기 위해.
• SNN과 HDC를 통합하여 뉴모르픽 데이터를 효과적으로 처리할 수 있도록 하여 HDC의 이론적 한계를 극복하고 종단 간 학습을 가능하게 하기 위해.
• 계층적 처리를 통해 뇌의 기능을 모방하는 확장 가능하고 에너지 효율적인 인지 학습 시스템을 구축하기 위해.
• HDC의 기억 기반 아키텍처를 활용해 실시간 적응이 가능한 온라인 단일 패assing 학습을 가능하게 하기 위해.
• 하이브리드 SNN-HDC 학습을 통해 모델의 해석 가능성 향상과 파라미터 요구량 감소를 도모하기 위해.

제안 방법

• SpikeHD는 원시 이벤트 기반 스파이크 데이터로부터 시간적·공간적 특징을 추출하기 위해 얕은 SNN을 사용하며, 이로 인해 시간적·공간적 상관관계를 유지한다.
• SNN의 출력은 비선형 신경 인코더를 통해 고차원 히퍼벡터로 매핑되어 HDC 기반의 표현 학습을 가능하게 한다.
• 종단 간 공동 학습 메커니즘이 SNN과 HDC의 학습을 동기화하여 SNN의 출력을 HDC 분류에 최적화한다.
• SNN을 고정하고 HDC 모듈을 단일 패assing 학습을 통해 업데이트함으로써 온라인 학습을 지원한다.
• 모어-펜로즈 역행렬 기반의 손실 역전파 메커니즘이 HDC에서 SNN으로 오차를 전달하지만, 차원 불일치로 인해 정보 손실 가능성이 있다.
• 모델은 애트킨슨-시프린 메모리 모델을 개념적 기초로 삼으며, HDC를 통해 장기 기억을 시뮬레이션하고 SNN을 통해 감각 처리를 모사한다.

실험 결과

연구 질문

• RQ1 SNN과 HDC를 융합하면 단독으로 사용할 경우보다 더 강건하고 효율적인 인지 학습 시스템을 만들 수 있는가?
• RQ2 SNN을 특징 추출에, HDC를 추상화에 사용하는 이중 단계 처리 방식이 이벤트 기반 데이터에서의 학습 성능을 어떻게 향상시키는가?
• RQ3 SpikeHD는 정확도를 유지하거나 향상시키면서 모델 크기와 파라미터 수를 얼마나 줄일 수 있는가?
• RQ4 이 프레임워크는 최소한의 계산 오버헤드로 실시간 온라인 학습을 지원할 수 있는가?
• RQ5 SNN과 HDC의 통합이 노이즈와 데이터 장애에 대한 강건성을 어떻게 향상시키는가?

주요 결과

• SpikeHD는 두 단계 정보 처리를 활용함으로써 학습 능력을 크게 향상시켜 단독 SNN 및 HDC 모델보다 뛰어난 성능을 보였다.
• 프레임워크는 복잡한 정보를 학습하기 위해 네트워크 크기와 필요한 파라미터를 줄였으며, 더 작은 SNN이나 더 복잡한 작업에서 더 큰 성과를 보였다.
• HDC의 내재된 강건성과 SpikeHD의 계층적 추상화 덕분에 노이즈 및 장애에 대한 강건성이 크게 향상되었다.
• 고차원 HDC나 큰 SNN을 사용할 경우 정확도 향상 폭이 미미한 것으로 나타나, 더 큰 구성에서의 수익 감소 현상이 관찰되었다.
• HDC에서 SNN으로의 손실 역전파 과정은 차원 감소로 인해 제한되어 있어, 향상된 정규화나 종단 간 학습 전략이 필요할 수 있음을 시사한다.
• SNN을 정적 상태로 유지하고 HDC를 단일 패assing 학습을 통해 업데이트함으로써 프레임워크는 실시간 온라인 학습을 가능하게 하였으며, 이는 스트리밍 뉴모르픽 데이터에 적합하다.