[논문 리뷰] Thermal-Aware Compilation of Spiking Neural Networks to Neuromorphic Hardware

Twisha Titirsha, Anup Das|arXiv (Cornell University)|2020. 10. 09.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 뉴로모르픽 하드웨어에서 스파iking 신경망(SNNs)을 위한 열-aware 컴파일 기법을 제안한다. 전류 변동으로 인한 파라시틱 RC 지연으로 인한 크로스바 열 기울기를 모델링하고, 평균 온도를 최소화하기 위해 하이클라이밍 히우리스틱을 사용한다. 성능 최적화 매핑 대비 평균 크로스바 온도를 11.4K 감소시키고, 누설 전력은 52% 감소시켰다.

ABSTRACT

Hardware implementation of neuromorphic computing can significantly improve performance and energy efficiency of machine learning tasks implemented with spiking neural networks (SNNs), making these hardware platforms particularly suitable for embedded systems and other energy-constrained environments. We observe that the long bitlines and wordlines in a crossbar of the hardware create significant current variations when propagating spikes through its synaptic elements, which are typically designed with non-volatile memory (NVM). Such current variations create a thermal gradient within each crossbar of the hardware, depending on the machine learning workload and the mapping of neurons and synapses of the workload to these crossbars. \mr{This thermal gradient becomes significant at scaled technology nodes and it increases the leakage power in the hardware leading to an increase in the energy consumption.} We propose a novel technique to map neurons and synapses of SNN-based machine learning workloads to neuromorphic hardware. We make two novel contributions. First, we formulate a detailed thermal model for a crossbar in a neuromorphic hardware incorporating workload dependency, where the temperature of each NVM-based synaptic cell is computed considering the thermal contributions from its neighboring cells. Second, we incorporate this thermal model in the mapping of neurons and synapses of SNN-based workloads using a hill-climbing heuristic. The objective is to reduce the thermal gradient in crossbars. We evaluate our neuron and synapse mapping technique using 10 machine learning workloads for a state-of-the-art neuromorphic hardware. We demonstrate an average 11.4K reduction in the average temperature of each crossbar in the hardware, leading to a 52% reduction in the leakage power consumption (11% lower total energy consumption) compared to a performance-oriented SNN mapping technique.

연구 동기 및 목표

• 긴 비트라인과 워드라인에서의 전류 변동으로 인해 발생하는 뉴로모르픽 크로스바 내 고려되지 않은 열 기울기를 해결하기 위해.
• 이웃 세포의 공간적 열 기여를 고려하여 NVM 기반 시냅스 세포의 온도를 모델링하기 위해.
• SNN 매핑 중 평균 크로스바 온도를 최소화하여 누설 전력과 에너지 소비를 감소시키기 위해.
• 컴파일 히우리스틱에 사용 가능한 정확성과 계산 효율성을 균형 잡은 확장 가능한 열 모델을 개발하기 위해.

제안 방법

• 이웃 시냅스 세포의 열 기여를 공간적 의존성 방정식을 사용해 반영하는 PCM 기반 크로스바를 위한 세밀한 열 모델을 수립한다.
• 하이클라이밍 히우리스틱에 열 모델을 통합하여 평균 크로스바 온도를 최소화하는 뉴런 및 시냅스 매핑을 탐색한다.
• 비트라인과 워드라인의 경로 길이의 차이로 인한 전류 변동을 반영하는 작업량에 따라 달라지는 열 모델을 사용한다.
• 고정밀 레이아웃 기반 시뮬레이션(1회 실행당 약 30분)과 단일 세포 모델과의 비교를 통해 열 모델을 검증하였으며, 이전 모델 대비 정확도 향상을 입증하였다.
• 컴pile 파이프라인에 열 모델을 통합하여 가변적인 반복 횟수 제한(MaxIter)을 설정하여 균형 제어가 가능한 매핑 결정을 유도한다.
• 크로스바 전역에서 온도 지표를 점진적으로 향상시키는 그리디 하이클라이밍 접근 방식을 사용해 매핑을 최적화한다.

실험 결과

연구 질문

• RQ1 비트라인과 워드라인 경로의 전류 변동이 뉴로모르픽 크로스바의 열 기울기에 어떤 영향을 미치는가?
• RQ2 열 모델에서 공간적 열 결합을 忽시할 경우 누설 전력 추정이 얼마나 정확하지 않게 되는가?
• RQ3 열-aware 매핑 전략은 SNN 워크로드에서 뉴로모르픽 하드웨어의 평균 크로스바 온도와 누설 전력을 감소시킬 수 있는가?
• RQ4 하이클라이밍 히우리스틱에서 반복 횟수를 변화시킬 경우 컴파일 시간과 온도 저감 간의 상호 교환 관계는 어떠한가?
• RQ5 제안된 열 모델은 고정밀 및 단순화된 열 모델 대비 정확도에서 어떤가?

주요 결과

• 단일 세포 모델 대비 공간적 열 기여를 포함한 제안된 열 모델은 피크 온도 과소평가를 평균 1.6K 감소시켰다.
• 공간적 열 기여 모델은 세밀한 레이아웃 기반 시뮬레이션 대비 오차가 8.2% 낮고, 절대 오차 0.3K 수준으로 매우 높은 정확도를 확보하였다.
• MaxIter = 100 설정이 컴파일 시간과 해의 품질 간 최적의 균형을 이룹니다. 반복 횟수를 1000으로 늘려도 온도 향상이 미미합니다.
• 10개의 SNN 워크로드에서 평균 크로스바 온도를 11.4K 감소시켜 누설 전력을 52% 감소시켰습니다.
• 성능 저하 없이 성능 최적화 매핑 대비 총 에너지 소비를 11% 감소시켰습니다.
• 이 방법은 일반적으로 가장 긴 전류 경로를 고려해 설계된 보수적인 전압 설계로 인해 발생하는 열 기울기를 효과적으로 완화하며, 자주 액세스되는 세포의 누설 증가를 방지합니다.