[논문 리뷰] RESPARC: A Reconfigurable and Energy-Efficient Architecture with Memristive Crossbars for Deep Spiking Neural Networks

Aayush Ankit, Abhronil Sengupta외 2명|arXiv (Cornell University)|2017. 02. 20.

Advanced Memory and Neural Computing참고 문헌 19인용 수 10

한 줄 요약

RESPARC는 깊이 있는 스파iking 신경망(SNNs)을 가속화하기 위해 메모리스티브 크로스바 어레이(MCAs) 기반으로 구축된 재구성가능하고 에너지 효율적인 뉴로모픽 아키텍처이다. 이는 이벤트 기반 계산, 세 단계의 계층적 재구성가능성(mPE, NeuroCell, RESPARC 코어), 그리고 기술에 민감한 MCA 크기 조정을 통해 최대 500×의 에너지 효율성과 디지털 CMOS 기준 대비 300× 높은 처리량을 달성한다.

ABSTRACT

Neuromorphic computing using post-CMOS technologies is gaining immense popularity due to its promising abilities to address the memory and power bottlenecks in von-Neumann computing systems. In this paper, we propose RESPARC - a reconfigurable and energy efficient architecture built-on Memristive Crossbar Arrays (MCA) for deep Spiking Neural Networks (SNNs). Prior works were primarily focused on device and circuit implementations of SNNs on crossbars. RESPARC advances this by proposing a complete system for SNN acceleration and its subsequent analysis. RESPARC utilizes the energy-efficiency of MCAs for inner-product computation and realizes a hierarchical reconfigurable design to incorporate the data-flow patterns in an SNN in a scalable fashion. We evaluate the proposed architecture on different SNNs ranging in complexity from 2k-230k neurons and 1.2M-5.5M synapses. Simulation results on these networks show that compared to the baseline digital CMOS architecture, RESPARC achieves 500X (15X) efficiency in energy benefits at 300X (60X) higher throughput for multi-layer perceptrons (deep convolutional networks). Furthermore, RESPARC is a technology-aware architecture that maps a given SNN topology to the most optimized MCA size for the given crossbar technology.

연구 동기 및 목표

• 딥 러닝을 위한 버너-뉴먼 컴퓨팅의 메모리 및 전력 병목 현상을 해결하기 위해 후기-CMOS 뉴로모픽 아키텍처를 활용한다.
• 고정 크기의 메모리스티브 크로스바(MCA)의 한계를 극복하기 위해 다양한 SNN 아키텍처에 대한 재구성가능한 매핑을 가능하게 한다.
• SNN의 이벤트 기반 특성과 MCAs 내부의 계산을 융합하여 에너지 효율성을 극대화한다.
• 기기의 비이상성에 기반한 기술에 민감한 확장 가능한 아키텍처를 설계하여 가용한 MCA 크기에 최적의 SNN 매핑을 수행한다.
• 미래의 MCA 기술 기반으로 MLP 및 CNN 유형의 SNN에 대해 고에너지 효율성과 고처리량을 달성한다.

제안 방법

• 3단계 재구성가능한 계층을 제안: 변수 피드인 뉴런을 위한 마크로 프로세싱 엔진(mPE), 다양한 내/외부 레이어 연결성(MLP/CNN)을 처리하기 위한 NeuroCell, 다중 레이어 SNN을 위한 RESPARC 코어.
• 메모리스티브 크로스바 어레이(MCAs)를 사용해 내부 곱셈 계산을 메모리 내에서 수행하며, 시냅스 가중치를 크로스포인트 장치에 직접 저장하여 외부 메모리 액세스를 제거한다.
• 스파iking 트레인의 희소성 특성을 활용하기 위해 이벤트 기반 데이터플로우 기법을 적용하여 활성 계산과 주변 회로의 에너지 소비를 감소시킨다.
• 기술에 민감한 매핑 도입: 스파이크 트레인의 스누크 패스 및 공정 변동성 등의 기술 제약 조건을 고려해 최적의 MCA 크기(예: 32, 64, 128)를 동적으로 선택한다.
• 메모리스터 가중치의 비트 이산화(4비트 정밀도)를 적용하여 정확성과 에너지 소비의 균형을 맞추며, RESPARC의 에너지 소비에 미미한 영향을 미친다.
• 2,000~230,000개의 뉴런과 120만~550만 개의 시냅스를 가진 SNN을 대상으로 시뮬레이션 기반 평가를 수행하여 RESPARC를 디지털 CMOS 기준과 비교한다.

실험 결과

연구 질문

• RQ1 제한된 크기의 메모리스티브 크로스바에 다양한 SNN 아키텍처(MLP, CNN)를 효율적으로 매핑하면서 에너지 및 면적 오버헤드를 최소화할 수 있는 재구성가능한 아키텍처는 어떻게 설계할 수 있는가?
• RQ2 스누크 패스 및 비이상성 등의 기술 제약 조건을 고려할 때, 다양한 SNN 아키텍처(MLP 대비 CNN)에 최적의 MCA 크기는 무엇인가?
• RQ3 SNN의 이벤트 기반 처리 방식이 MCAs 내부 계산과 융합되었을 때, 에너지 효율성 향상에 얼마나 기여하는가?
• RQ4 메모리스터 가중치의 비트 정밀도가 RESPARC 아키텍처에서 정확성과 에너지 소비에 미치는 영향은 CMOS 대비 어떻게 다를까?
• RQ5 메모리 절감(가중치를 MCA에 내장함으로써)과 계산 효율성(내부 곱셈 계산을 통한)이 전체 에너지 절감에 기여하는 비율은 각각 얼마인가?

주요 결과

• RESPARC는 깊이 있는 MLP에 대해 디지털 CMOS 기준 대비 최대 500×의 에너지 효율성 향상과 300× 높은 처리량을 달성한다.
• CNN에 대해서는 최대 15×의 에너지 효율성 향상과 60× 높은 처리량을 기록했으며, RESPARC-64가 가장 에너지 효율적인 구성이다.
• MLP의 에너지 절감은 주로 MCA 내부의 메모리스터 가중치 저장으로 인한 메모리 액세스 감소와 누설 전력 감소에서 기인한다.
• CNN의 에너지 절감은 효율적인 내부 곱셈 계산에서 기인하며, 계산 코어가 CMOS의 에너지 소비를 주로 차지하기 때문이다.
• 이벤트 기반 처리 방식은 MLP에서 CNN보다 더 높은 에너지 절감 효과를 보이며, 이는 1차원 스파이크 벡터(예: 배경 픽셀)의 희소성 정도가 2차원 공간 윈도우보다 높기 때문이다.
• RESPARC의 에너지 소비는 가중치 비트 정밀도(4~8비트) 변화에 거의 영향을 받지 않지만, CMOS의 경우 더 높은 정밀도일수록 더 큰 버퍼와 메모리 유닛으로 인해 에너지 소비가 크게 증가한다.